-
题名一种海量数据分级存储系统TH-TS
被引量：20
- 1
-
-
作者
敖莉
于得水
舒继武
薛巍
-
机构
清华大学计算机科学与技术系
清华大学信息科学与技术国家实验室(筹)
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2011年第6期1089-1100,共12页
-
基金
国家自然科学基金项目(60873066)
高等学校博士学科点专项科研基金项目(20070003092)
国家"八六三"高技术研究发展计划重大专项基金项目(2009AA01A403)
-
文摘
随着数据存储规模的飞速增长,降低存储系统的总拥有成本,提高数据访问性能成为构建海量存储系统的关键.设计并实现了一个海量数据分级存储系统TH-TS(Tsinghua Tiered Storage),由多级存储设备构成一体化的数据存储环境.该系统提出了Cute Mig数据迁移方法:采用基于升级成本和升级收益的升级迁移策略和基于剩余空间的文件自适应降级选择策略,解决了传统on-demand迁移方法中迁移数据量大、访问性能不佳的问题.评测结果表明,TH-TS采用Cute Mig迁移方法的系统平均I/O响应时间比传统的LRU和GreedyDualSize方法分别降低了10%和39%左右,数据升级迁移量分别降低了32%和59%左右,降级迁移量分别降低了47%和66%左右.
-
关键词
分级存储系统
文件分级
迁移策略
自适应降级
迁移调度
-
Keywords
tiered storage system
file classification
migration approach
adaptive demotion
migration schedule
-
分类号
TP333.2
[自动化与计算机技术—计算机系统结构]
-
-
题名基于块的分级存储系统多样性机制设计与研究
被引量：3
- 2
-
-
作者
杜然
黄秋兰
程耀东
陈刚
-
机构
中国科学院高能物理研究所
中国科学院大学
-
出处
《计算机工程》
CAS
CSCD
北大核心
2016年第12期50-59,共10页
-
基金
国家自然科学基金(11305192
11575223
+3 种基金
11375221
11405195
11205177)
中国科学院"十二五"科研信息化项目"高能物理科技领域云"(Y2293C00S5)
-
文摘
HazelNut是一种基于块的分级存储系统,为满足HazelNut多种存储设备和追踪迁移方式的管理需求,设计并实现多样性设备管理机制HNDisk和多样性追踪迁移机制HNType。HNDisk将物理存储设备分层管理,不限制设备种类和设备数量。HNType可按照公共接口添加类型模块,便于配置并选择不同追踪度量和迁移算法。在HNDisk和HNType的基础上,测试不同追踪度量对btier平均值迁移算法性能的影响,结果表明,追踪度量访问次数和访问字节数非线性相关,两者对迁移效果的影响不同,并且使用读写请求完成时间作为追踪度量至少可使顺序读写性能提升10%。
-
关键词
分级存储系统
多样性
LINUX内核
可装载内核模块
虚拟文件系统开关
追踪度量
迁移算法
-
Keywords
hierarchical storage system
diversity
Linux kernel
loadable kernel module
Virtual Filesystem Switch （VFS）
trace metrics
migration algorithm
-
分类号
TP316.4
[自动化与计算机技术—计算机软件与理论]
-
-
题名HDFS分级存储系统元数据管理方法的研究
被引量：17
- 3
-
-
作者
刘晓宇
夏立斌
姜晓巍
孙功星
-
机构
中国科学院高能物理研究所
中国科学院大学
-
出处
《计算机工程与应用》
CSCD
北大核心
2023年第17期257-265,共9页
-
基金
国家自然科学基金(12275295)。
-
文摘
随着高能物理实验规模的不断扩大和实验复杂度的提高,研究人员正面临海量数据存储的挑战,考虑到成本、能耗、存储周期及运维管理等问题,具有存储容量大、成本低特点的磁带库成为高能物理领域海量存储系统中必不可少的选择。但HDFS现有异构存储研究不支持磁带库存储,无法满足高能物理Hadoop平台海量实验数据持久化和备份过程对于存储系统高性价比的需求。针对上述问题,为了构建支持磁盘-磁带存储的HDFS分级存储系统,使磁带层文件在HDFS中无缝融合,为用户提供统一的文件系统命名空间,调研了分布式文件系统元数据管理方法,在此基础上设计实现了HDFS分级存储系统中统一的元数据管理方法。该方法通过重新设计内存文件元数据结构,构建分级存储系统统一的内存目录树并实现其访问管理和可靠性保障,完成分级存储系统中不同层级文件元数据的集中统一管理。测试结果表明,该方法实现了分级存储系统异构资源上文件元数据的统一管理,提供了高效的元数据操作。基于该方法构建的分级存储系统可靠性高,在对不同规模大小的文件读写时,其读写吞吐量较优于高能物理领域传统分级存储系统EOSCTA。
-
关键词
HDFS分布式文件系统
分级存储系统
内存元数据管理
统一命名空间
持久化
-
Keywords
Hadoop distributed file system(HDFS)
hierarchical storage system
metadata management in memory
unified namespace
persistence
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名基于Chord算法的可扩展高性能元数据存储环设计
被引量：8
- 4
-
-
作者
杜然
黄秋兰
阚文枭
王聪
徐琪
陈刚
-
机构
中国科学院高能物理研究所
中国科学院大学
-
出处
《计算机工程》
CAS
CSCD
北大核心
2016年第8期1-8,共8页
-
基金
国家自然科学基金资助项目(11305192
11205179
+1 种基金
11205177)
中国科学院科研信息化基金资助项目"高能物理科技领域云的建设与应用"(Y2293C00S5)
-
文摘
Hazel Nut是一个基于块的分级存储系统,为满足该系统元数据内存需求量大、访问速度快、动态可增长的要求,设计并实现一种可扩展高性能的元数据存储环SCRing。SCRing由元数据存储环shell ring、映射环chord ring和缓存表组成,shell ring与chord ring分别用于存储与定位数据块元数据信息,缓存表用于缓存数据块元数据在内存中的位置。通过消息摘要算法计算得到SCRing双环节点间的映射关系。依据SCRing对消息摘要算法的实际需求,结合Linux内核版本,测试并比较Linux内核支持的消息摘要算法的速度、均匀性和稳定性,得出SCRing所应采用的算法种类和使用模式,并在此基础上对SCRing读写性能进行验证,结果表明SCRing具备可扩展性和高性能,满足Hazel Nut系统元数据访问需求。
-
关键词
分级存储系统
LINUX内核
CHORD算法
消息摘要算法
元数据
-
Keywords
hierarchical storage system
Linux kernel
Chord algorithm
message digest algorithm
metadata
-
分类号
TP316.4
[自动化与计算机技术—计算机软件与理论]
-
