有可能对Spark进行改进，进而实现一个通用分布式计算框架吗？ - spark吧

level 1

无敌小慢ZYX 楼主

RT，需求是将多台计算机用于视频/图片/excel等各种类型的任务用分布式计算框架进行处理。流程是将大量任务和能够处理单个任务的代码交给通用分布式计算框架，然后通用分布式计算框架把大量任务分到多台电脑中进行处理，最后把结果汇总在一起。任务的类型不固定，可能是图片，视频，表格等等。
怎么实现这种对多种数据类型都通用的分布式计算框架啊？求给个思路

2021年04月03日 02点04分 1