-
题名面向MapReduce计算的大规模集群通信优化
被引量：5
- 1
-
-
作者
曹云鹏
王海峰
刘海涛
何淑庆
-
机构
临沂大学信息科学与工程学院
临沂大学研究所山东省网络环境智能计算技术重点实验室
-
出处
《计算机应用研究》
CSCD
北大核心
2020年第4期1174-1178,共5页
-
基金
山东省自然科学基金面上项目(ZR2017MF050)
山东省高等学校科学技术计划项目(J17KA049)
山东省重点研发项目(2019GGX1005,2018GGX101005,2017CXGC0701,2016GGX109001)。
-
文摘
为了优化大规模集群运行MapReduce作业时的通信效率和减少shuffle数据传输量,首先采用存储局部性换取通信局部性的策略建立一个分布式协同数据映射模型;其次通过随机抽样和机器学习方法来提取作业数据的局部性特征,实现map计算数据的有效部署;最后,利用软件定义网络的全局灵活控制能力,优选通信链路好的节点并将计算任务映射到该类节点中。实验表明对于中间数据混洗密集类作业有较好的优化效果,通信延迟降低了4.3%~5.8%。该方案能减少shuffle流量和数据迁移延迟,并且适合各种调度策略和网络拓扑结构。
-
关键词
数据通信优化
MAPREDUCE
软件定义网络
协同数据映射
-
Keywords
data communication optimization
MapReduce
software-defined network
collaborative data mapping
-
分类号
TN915.02
[电子电信—通信与信息系统]
-
-
题名通用处理器加速器研究综述
被引量：1
- 2
-
-
作者
陆祎
卜国强
-
机构
复旦大学并行处理研究所
江南计算技术研究所
-
出处
《计算机应用与软件》
CSCD
北大核心
2013年第8期4-8,共5页
-
基金
国家自然科学基金项目(60903015)
国家高技术研究发展重点项目(2009AA012201)
-
文摘
加速器是一种辅助通用处理器实现某些特定应用高效处理的硬件部件,可以用来解决当前通用处理器设计过程中存在的性能瓶颈问题。目前主流的加速器研究主要包括高效的加速器设计和有效地与通用处理器协作两个方面,这些研究对扩展加速器的应用领域和更有效地利用加速器所提供的计算资源来提升应用程序的性能有着十分重要的意义。对当前加速器研究领域中的热点问题进行调研和归纳,在对各个研究项目进行分析和评价的基础上,也对加速器可能的发展方向进行展望。
-
关键词
加速器
可编程化
多核
众核化
数据通信优化
-
Keywords
Accelerator Programmable Multi-core /many-core Data communication optimisation
-
分类号
TP3
[自动化与计算机技术—计算机科学与技术]
-
