level 8
加米谷大数据
楼主
Spark在任何情况下均比MapReduce高效吗
Spark并不是在任何情况下都比MapReduce高效的,我们要根据不同的应用场景择优选择。
当做一个简单的数据转换,且只需要Map操作时,mapreduce的处理效率要比Spark高,因为Spark预处理和启动的成本比较高。
Mapreduce因为存在时间长,所以对多种场景都有优化,而Spark高效的处理场景相对较少。
当数据大小适于读入内存,尤其是在专用集群上时,Spark 表现更好;Hadoop MapReduce 适用于那些数据不能全部读入内存的情况,同时它还可以与其它服务同时运行。
成本
根据基准要求, Spark 更加合算, 尽管人工成本会很高。依靠着更多熟练的技术人员和 Hadoop 即服务的供给, Hadoop MapReduce 可能更便宜。
2020年03月30日 09点03分
1
Spark并不是在任何情况下都比MapReduce高效的,我们要根据不同的应用场景择优选择。
当做一个简单的数据转换,且只需要Map操作时,mapreduce的处理效率要比Spark高,因为Spark预处理和启动的成本比较高。
Mapreduce因为存在时间长,所以对多种场景都有优化,而Spark高效的处理场景相对较少。
当数据大小适于读入内存,尤其是在专用集群上时,Spark 表现更好;Hadoop MapReduce 适用于那些数据不能全部读入内存的情况,同时它还可以与其它服务同时运行。
成本
根据基准要求, Spark 更加合算, 尽管人工成本会很高。依靠着更多熟练的技术人员和 Hadoop 即服务的供给, Hadoop MapReduce 可能更便宜。