期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
PDM-Shuffle:基于被动分离式内存的数据混洗系统设计
1
作者
程丽云
吴婧雅
+2 位作者
卢文岩
钟浪辉
鄢贵海
《高技术通讯》
北大核心
2025年第4期370-384,共15页
利用存算分离架构,可以将数据混洗的计算和存储过程解耦,从而提高分布式数据处理应用的可扩展性。然而,将混洗数据传输到远端存储节点的过程增加了额外网络开销,存储节点将成为新的通信瓶颈。为应对引入存算分离架构后数据混洗过程面临...
利用存算分离架构,可以将数据混洗的计算和存储过程解耦,从而提高分布式数据处理应用的可扩展性。然而,将混洗数据传输到远端存储节点的过程增加了额外网络开销,存储节点将成为新的通信瓶颈。为应对引入存算分离架构后数据混洗过程面临的新挑战,本文提出一种基于被动分离式内存的数据混洗(passive disaggregated memoryshuffle,PDM-Shuffle)系统,利用新型一致性总线互连协议计算快速链接(compute express link,CXL)直连共享内存设备存储并交换混洗中间数据,避免了数据的硬盘存储及传输控制协议/网际协议(transmission control protocol/Internet protocol,TCP/IP)的传输过程。鉴于内存设备仅支持被动数据写入,本文采用了内存预分区和元数据控制节点分配内存地址等方法来保证同分区数据的预聚合和共享内存的一致性访问管理。实验结果表明,在处理大规模数据集时,与传统的集中式架构相比,PDM-Shuffle系统可将排序和图计算的综合类应用程序Terasort和PageRank的单个作业完成时间分别减少49%和65%,相对于存算分离架构下已有的优化方案Zeus,分别提升了36%和18%。
展开更多
关键词
数据混洗
存算
分离
分离式内存系统
计算快速链接
内存
一致性
预聚合
在线阅读
下载PDF
职称材料
题名
PDM-Shuffle:基于被动分离式内存的数据混洗系统设计
1
作者
程丽云
吴婧雅
卢文岩
钟浪辉
鄢贵海
机构
处理器芯片全国重点实验室(中国科学院计算技术研究所)
中国科学院大学
上交所技术有限责任公司
出处
《高技术通讯》
北大核心
2025年第4期370-384,共15页
基金
国家自然科学基金(62002340,62090020)
中国科学院青促会基金(Y201923)
中国科学院战略性先导科技专项(XDB44030100)资助项目。
文摘
利用存算分离架构,可以将数据混洗的计算和存储过程解耦,从而提高分布式数据处理应用的可扩展性。然而,将混洗数据传输到远端存储节点的过程增加了额外网络开销,存储节点将成为新的通信瓶颈。为应对引入存算分离架构后数据混洗过程面临的新挑战,本文提出一种基于被动分离式内存的数据混洗(passive disaggregated memoryshuffle,PDM-Shuffle)系统,利用新型一致性总线互连协议计算快速链接(compute express link,CXL)直连共享内存设备存储并交换混洗中间数据,避免了数据的硬盘存储及传输控制协议/网际协议(transmission control protocol/Internet protocol,TCP/IP)的传输过程。鉴于内存设备仅支持被动数据写入,本文采用了内存预分区和元数据控制节点分配内存地址等方法来保证同分区数据的预聚合和共享内存的一致性访问管理。实验结果表明,在处理大规模数据集时,与传统的集中式架构相比,PDM-Shuffle系统可将排序和图计算的综合类应用程序Terasort和PageRank的单个作业完成时间分别减少49%和65%,相对于存算分离架构下已有的优化方案Zeus,分别提升了36%和18%。
关键词
数据混洗
存算
分离
分离式内存系统
计算快速链接
内存
一致性
预聚合
Keywords
shuffle
separation of storage and compute
disaggregated memory system
compute express link(CXL)
memory consistency
pre-aggregation
分类号
TP333 [自动化与计算机技术—计算机系统结构]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
PDM-Shuffle:基于被动分离式内存的数据混洗系统设计
程丽云
吴婧雅
卢文岩
钟浪辉
鄢贵海
《高技术通讯》
北大核心
2025
0
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
