-
题名分布式存储系统中支持近数据处理的纠删码技术
- 1
-
-
作者
李浩然
黄志杰
史宇龙
赵承佳
赵楠楠
张晓
-
机构
西北工业大学计算机学院
-
出处
《电子学报》
2025年第2期344-353,共10页
-
基金
国家自然科学基金(No.62272394,No.62202382)
国家重点研发计划(No.2022YFB2702101)
广东省基础与应用基础研究基金(No.2021A1515110080)。
-
文摘
纠删码技术和近数据处理技术是构建高效的云边端协同数据管理系统的两大基石,前者通过对数据添加编码冗余方式来保障系统的可用性,而后者则通过在存储端处理数据的方式避免大量的网络传输开销.云边端协同的数据管理系统通常采用成熟的分布式存储系统作为底层存储引擎,然而主流的分布式存储系统中的纠删码实现方式并不能高效地支持近数据处理.本文提出了一种支持近数据处理的纠删码技术架构,其基本原理是通过对待编码的一组数据进行重新布局,保证语义相关数据被存储在同一个存储设备上,避免执行近数据处理时的跨节点数据传输.该方案在分布式存储系统Ceph上获得实现,并测试典型场景的读写性能.实验结果表明,在近数据处理场景下和常规数据读取场景下,读取对象的性能分别提升59.4%和10%,对象写入性能则与原版保持一致.
-
关键词
纠删码
分布式存储
Ceph
近数据处理
云边端协同数据管理
-
Keywords
erasure coding
distributed storage
Ceph
near-data processing
cloud-edge-end collaborative data management
-
分类号
TP302
[自动化与计算机技术]
-
