在大规模分布式存储系统的广泛应用背景下,传统容错编码方案在单盘和双盘故障修复过程中面临读取资源消耗高、修复效率不足等技术难题,提出一种具有局部修复特性的混合校验编码方案——VC-code(vertical central symmetric code)。VC-c...在大规模分布式存储系统的广泛应用背景下,传统容错编码方案在单盘和双盘故障修复过程中面临读取资源消耗高、修复效率不足等技术难题,提出一种具有局部修复特性的混合校验编码方案——VC-code(vertical central symmetric code)。VC-code通过融合横纵式阵列码的快速修复与负载均衡特性,设计了一种局部水平校验与对角校验交叉融合的结构,并采用纵向中心对称校验布局优化数据依赖关系。该设计将单盘和双盘故障修复的数据读取量显著降低,同时通过缩短修复链提升整体效率。理论分析表明,在单双盘故障恢复时大幅降低了数据读取开销。实验结果进一步验证了其性能优势,与RDP码、LRRDP码以及DRDP码相比,VC-code在单盘故障修复时间上减少了10.45%~29.57%,在双盘故障修复时间上减少了6.35%~33.24%。展开更多
随着互联网技术的迅猛发展,越来越多的非结构化数据涌入到人们的生活中,为这些数据建立高效的索引面临极大的挑战.键值数据库Key-Value以其结构简单和高扩展性而引起人们的广泛关注,已成为海量数据存储系统中的重要组成部分.由于Key-Va...随着互联网技术的迅猛发展,越来越多的非结构化数据涌入到人们的生活中,为这些数据建立高效的索引面临极大的挑战.键值数据库Key-Value以其结构简单和高扩展性而引起人们的广泛关注,已成为海量数据存储系统中的重要组成部分.由于Key-Value系统对吞吐量要求较高,而基于Flash的固态硬盘(solid state drive,SSD)能够提供很高的随机读性能,在SSD上构建Key-Value系统已成为海量数据存储领域的一大研究热点.鉴于Flash具有非定点更新、寿命有限等特性,基于SSD的KeyValue系统必须针对Flash的特性作专门优化.以一种称为SkimpyStash的基于SSD的Key-Value系统为基础,提出了一种新的Key-Value系统低延迟存储系统(low latency store,LLStore).LLStore使用内存文件映射技术来减少针对SSD的IO请求,除此之外,针对SkimpyStash中低效的压缩策略,提出一种改进方法,可以在少量增加内存开销的情况下极大地减少查询时间.通过与原系统的性能比较实验,LLStore在平均查询时间上可以获得至少12%的加速.展开更多
文摘在大规模分布式存储系统的广泛应用背景下,传统容错编码方案在单盘和双盘故障修复过程中面临读取资源消耗高、修复效率不足等技术难题,提出一种具有局部修复特性的混合校验编码方案——VC-code(vertical central symmetric code)。VC-code通过融合横纵式阵列码的快速修复与负载均衡特性,设计了一种局部水平校验与对角校验交叉融合的结构,并采用纵向中心对称校验布局优化数据依赖关系。该设计将单盘和双盘故障修复的数据读取量显著降低,同时通过缩短修复链提升整体效率。理论分析表明,在单双盘故障恢复时大幅降低了数据读取开销。实验结果进一步验证了其性能优势,与RDP码、LRRDP码以及DRDP码相比,VC-code在单盘故障修复时间上减少了10.45%~29.57%,在双盘故障修复时间上减少了6.35%~33.24%。
文摘随着互联网技术的迅猛发展,越来越多的非结构化数据涌入到人们的生活中,为这些数据建立高效的索引面临极大的挑战.键值数据库Key-Value以其结构简单和高扩展性而引起人们的广泛关注,已成为海量数据存储系统中的重要组成部分.由于Key-Value系统对吞吐量要求较高,而基于Flash的固态硬盘(solid state drive,SSD)能够提供很高的随机读性能,在SSD上构建Key-Value系统已成为海量数据存储领域的一大研究热点.鉴于Flash具有非定点更新、寿命有限等特性,基于SSD的KeyValue系统必须针对Flash的特性作专门优化.以一种称为SkimpyStash的基于SSD的Key-Value系统为基础,提出了一种新的Key-Value系统低延迟存储系统(low latency store,LLStore).LLStore使用内存文件映射技术来减少针对SSD的IO请求,除此之外,针对SkimpyStash中低效的压缩策略,提出一种改进方法,可以在少量增加内存开销的情况下极大地减少查询时间.通过与原系统的性能比较实验,LLStore在平均查询时间上可以获得至少12%的加速.
