-
题名二元再生码在分布式存储系统的应用
被引量：1
- 1
-
-
作者
侯韩旭
李挥
张华宇
朱兵
-
机构
北京大学深圳研究生院
深圳市融合网络播控技术工程实验室
深圳市云计算关键技术和应用重点实验室
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2013年第S2期45-53,共9页
-
基金
国家"九七三"重点基础研究计划基金项目(2012CB315904)
国家自然科学基金项目(NSFC61179028)
+4 种基金
深圳基础研究(JCYJ20130331144502026
JC201104210120A
JC201005260234A)
广东省自然基金项目(S201101000923
S2013020012822)
-
文摘
分布式存储系统以其高效的可扩展性和高可用性成为存储大数据的主要系统.为了提高可靠性,需要在分布式存储系统中引入冗余.因此如何最优化存储空间、最小化修复带宽和最小化计算复杂度是衡量冗余存储系统效率的关键问题.再生码存储是一类可以达到存储空间与网络修复带宽最佳折中的存储方法,但现有的再生码的构造方法有大量有限域的乘法运算,其高昂的计算复杂度成为用于分布式存储系统中的主要瓶颈.实验结果表明,在保留再生码优势的前提下,采用移位和异或运算取代有限域的乘法运算可以大幅度地降低计算复杂度.创新之处在于提出了二元再生码(binary regenerating codes,BRGC),并给出了构造二元再生码的两类最佳再生码,即最小带宽二元再生码和最小存储二元再生码的方法.通过评估和对比主流的RS码和基于矩阵乘法的再生码,发现BRGC在计算复杂度方面有着明显的优势,在实际海量数据的分布式存储系统中具备更好的应用价值.BRGC在修复和解码性能均优于柯西(Cauchy Reed-Solomon)码.
-
关键词
大数据
分布式存储系统
二元再生码
计算复杂度
修复带宽
-
Keywords
big data
distributed storage system
binary regenerating codes
computational complexity
repair bandwidth
-
分类号
TP333
[自动化与计算机技术—计算机系统结构]
-
-
题名基于二元再生码的大数据存储系统研究
被引量：1
- 2
-
-
作者
黄显霞
李挥
张宇蒙
侯韩旭
周泰
郭涵
张华宇
-
机构
北京大学深圳研究生院
深圳市融合网络播控技术工程实验室
深圳市云计算关键技术和应用重点实验室
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2013年第S2期54-63,共10页
-
基金
国家"九七三"重点基础研究发展计划基金项目(2012CB315904)
国家自然科学基金项目(NSFC61179028)
+4 种基金
广东自然科学基金项目(S2011010000923
S2013020012822)
深圳基础研究基金项目(JCYJ20130331144502026
JC201104210120A
JC201005260234A)
-
文摘
随着信息数据量越来越大,大数据存储的可靠性变得尤为重要,因而需要在存储系统中引入冗余.基于复制的传统策略虽然简单,但其存储效率和系统可靠性均不高.纠删码提供了一种不同于复制策略的有效存储方式,然而,当系统中有文件丢失时,纠删码(如Reed-Solomon,RS)需要较高的通信负载来进行文件修复,而且编解码效率不高.针对RS码的不足,在分布式系统中引入一种新颖的再生码,称为二元再生码(binary regenerating codes,BRGC).在Hadoop分布式存储系统中部署和实施了二元再生码和RS码.实验结果表明,BRGC在编解码效率和修复带宽上均优于RS码.
-
关键词
大数据
存储系统
纠删码
RS码
二元再生码
HADOOP
-
Keywords
big data
storage systems
erasure codes
RS codes
binary regenerating codes
Hadoop
-
分类号
TP333
[自动化与计算机技术—计算机系统结构]
-
