-
题名基于范德蒙码的HDFS优化存储策略研究
被引量：18
- 1
-
-
作者
宋宝燕
王俊陆
王妍
-
机构
辽宁大学信息科学与技术学院
-
出处
《计算机学报》
EI
CSCD
北大核心
2015年第9期1825-1837,共13页
-
基金
国家自然科学基金(61472169
60873068)
辽宁省教育厅优秀人才支持计划项目基金(LR201017)资助~~
-
文摘
随着大数据时代的到来,新型文件系统HDFS(Hadoop分布式文件系统)的应用越来越广泛.但其本身也存在着整体存储成本过高、可扩展性低、节点负载均衡能力不足等问题.因此,该文提出了一种基于范德蒙码的HDFS分散式动态副本存储优化策略,针对HDFS大多部署在大量的廉价硬件集群上的实际情况,在范德蒙码优化策略的基础上,采用分散式动态副本控制的思想对HDFS文件操作的计算过程、计算模式以及译码触发策略进行系统的改进,并通过校验码动态设置的方式将容错度控制在一个理想的范围之内,此外,结合伽罗华有限域理论对范德蒙码的编译码操作及计算方法进行全面优化,在不影响HDFS存储结构的前提下,降低了范德蒙码编译码的时间代价和计算的内存压力,节约了HDFS约30%的存储开销,数据可靠性提高了约200%,均衡HDFS系统节点负载能力,译码恢复效率平均提升约40%,形成了一套完整的、系统的优化方案,为未来HDFS的发展提供了一条有效途径.
-
关键词
大数据
HDFS
范德蒙码
分散式动态副本
优化存储
-
Keywords
big data
HDFS
Vandermonde code
decentralized dynamic replication
optimizedstorage
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
