-
题名面向算力网络的跨集群数据迁移系统的设计和实现
- 1
-
-
作者
李俊哲
付振新
杨宏辉
马银萍
李若淼
樊春
-
机构
北京大学计算机学院
北京大学计算中心
北京大学长沙计算与数字经济研究院
-
出处
《计算机工程与科学》
北大核心
2025年第5期775-786,共12页
-
基金
2023年湖南省十大技术攻关项目(2023GK1010)。
-
文摘
在算力网络的建设中,如何在不同地域算力中心的集群之间进行高效可靠的数据迁移,是影响算力网络建设成功与否的关键研究课题。鉴于此,设计并实现了基于RSYNC的高性能传输软件SCOW-SYNC。首先,SCOW-SYNC采用队列和线程池架构,对传统的RSYNC进行了优化,通过并行建立多个TCP连接和并行传输,提高了带宽利用率。此外,SCOW-SYNC还支持大文件自动切分、动态压缩、后台运行、进度实时查询和SSH连接池管理等功能。经测试,SCOW-SYNC相比RSYNC能够达到125%~130%的加速比。其次,为了提高传输的安全性,面向算力中心提出了一套可靠的跨集群传输系统架构,数据传输仅在“传输节点”之间发起,使用“传输密钥”进行加密,该密钥由“管理节点”负责动态检查、生成和分发。最后,将SCOW-SYNC集成到高性能计算门户和管理平台SCOW中,实现了SCOW的跨集群传输模块,使得用户可以通过浏览器在不同集群之间进行高性能的数据迁移,并通过容器化技术部署到了北京大学跨集群环境中,提高了生产效率。
-
关键词
高性能计算系统软件
算力网络
并行传输
RSYNC
集群安全
-
Keywords
high performance computing system software
computational network
parallel transmission
RSYNC
cluster security
-
分类号
TP302
[自动化与计算机技术—计算机系统结构]
-
