-
题名Spark迭代密集型应用的优化方法研究
被引量：3
- 1
-
-
作者
魏占辰
刘晓宇
黄秋兰
孙功星
-
机构
中国科学院高能物理研究所
中国科学院大学
-
出处
《计算机工程与应用》
CSCD
北大核心
2020年第23期68-73,共6页
-
基金
国家自然科学基金(No.11775249,No.11875283)。
-
文摘
Spark是一个非常流行且广泛适用的大数据处理框架,具有良好的易用性和可扩展性。但在实际应用中,仍然存在一些问题需要解决。例如在部分迭代计算场景中,得到的加速效果并不理想,究其原因在于使用Spark等分布式系统后引入的额外损耗较大。为准确分析并降低这些损耗,提出了Spark效率分析公式,以分布式计算代价衡量额外损耗,以有效计算比衡量执行效率。在此基础上,还针对Spark迭代密集型应用设计并实现了一种优化策略。测试结果表明,有效计算比和程序执行性能得到了大幅提升,其中有效计算比提升了约0.373,程序执行时间缩短了约68.2%。
-
关键词
SPARK
迭代密集型应用优化
分布式计算代价
有效计算比
-
Keywords
Spark
optimization for iteration-intensive application
distributed calculation cost
effective calculation ratio
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
