-
题名一种性能优化的小文件存储访问策略的研究
被引量：20
- 1
-
-
作者
赵跃龙
谢晓玲
蔡咏才
王国华
刘霖
-
机构
华南理工大学计算机科学与工程学院
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2012年第7期1579-1586,共8页
-
基金
国家自然科学基金项目(60573145)
教育部高等学校博士学科点专项科研基金项目(200805610019)
广州市科技计划应用基础资助基金项目(2010Y1-C681)
-
文摘
在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率,提高了小文件访问性能;写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入,减少了文件碎片数量,提高了存储空间利用率;文件传输时利用局部性原理,提前发送批量的高访问率的小文件,降低了建立网络连接开销,提升了文件传输性能.理论分析和实验证明,SFSA的设计思想和方法能有效地优化小文件的存储访问性能.
-
关键词
分布式文件系统
小文件存储
小文件存储访问
块
优化
访问性能
-
Keywords
distributed file system
small file storage
small file storage access （sfsa）
block
optimization
access performance
-
分类号
TP333
[自动化与计算机技术—计算机系统结构]
-
-
题名曙光星云分布式文件系统:海量小文件存取
被引量：9
- 2
-
-
作者
马灿
孟丹
熊劲
-
机构
中国科学院计算技术研究所智能中心
中国科学院研究生院
中国科学院信息工程研究所
-
出处
《小型微型计算机系统》
CSCD
北大核心
2012年第7期1481-1488,共8页
-
基金
国家"八六三"高技术研究发展计划项目(2009AA01A129)资助
国家"九七三"重点基础研究发展计划项目(2011CB302502
2011AA01A203)资助
-
文摘
随着互联网应用的发展和云计算的兴起,在线图片、音频、视频以及微博等服务逐渐广泛发展,这些应用展示了与传统应用截然不同的数据访问和存储模式.数据中心内每秒钟都有大量较小文件的生成、分析和返回,这些应用对高并发海量文件的高吞吐、低延迟读写提出了新的挑战.提出基于分布式表存储的全新的分布式文件系统HVFS来管理数以十亿计的文件,并同时支持高吞吐和低延迟的文件访问.HVFS通过改进分布式可扩展哈希来管理元数据、日志结构的格式和列存储来利用时空局部性.本文描述了HVFS的设计和实现并进行了中等规模的实验.实验显示HVFS的表存储结构能够线性的扩展,并在82个结点上提供超过240,000次/秒、100,000次/秒的数据(<1KB)写和读;基于FUSE的实现在32个节点上提供超过180,000个/秒的文件创建速度.
-
关键词
分布式文件系统
全局名字空间
海量文件
小文件访问
表存储
-
Keywords
distributed file system
global namespace
large scale file access
small file access
tabular storage
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名海量小文件存储文件系统研究综述
被引量：20
- 3
-
-
作者
王铃惠
李小勇
张轶彬
-
机构
上海交通大学信息安全工程学院
-
出处
《计算机应用与软件》
CSCD
北大核心
2012年第8期106-109,共4页
-
基金
上海市科学技术委员会基金项目(10DZ1500200)
-
文摘
随着互联网的发展,存储的小文件数量也呈几何级的增长。传统文件系统已不能满足存储性能的需求,对于小文件存储,尤其是海量小文件存储的优化已变得越来越重要。首先提出对小文件存储的系统进行优化的必要性,然后对小文件存储中存在的问题进行分析并阐述优化的方式,并介绍三种具有代表性的适合小文件存储的文件系统,最后总结归纳。
-
关键词
小文件
海量存储
元数据操作
磁盘访问效率
C-FFS
Reiser
FS
FACEBOOK
-
Keywords
small file Mass storage Metadata operations Disk access efficiency C-FFS Reiser FS Facebook
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
-
题名基于Hadoop的海量学习资源云存储模型设计研究
被引量：4
- 4
-
-
作者
郭松
张岩
-
机构
沈阳体育学院体育信息技术系
沈阳师范大学计算机与数学基础教学部
-
出处
《计算机应用与软件》
CSCD
2016年第12期23-25,44,共4页
-
基金
辽宁省自然科学基金项目(20120297)
-
文摘
由于多媒体技术不断发展,学习资源呈爆炸式增长,给资源存储提出了新的挑战。Hadoop平台对小文件的存储和访问存在内存消耗高、存储空间浪费等问题。针对这种情况,分析学习资源的特点,设计两级Hadoop模式,优化学习资源存储策略,提出基于多层次Hadoop的学习资源云存储模型。并在实验室环境下搭建存储模型,对多类型的学习资源文件进行存储测试分析。分析结果表明,模型在存储空间、内存消耗和存储效率上较传统Hadoop模型有着明显的改善,适合海量学习资源的存储需求。
-
关键词
海量学习资源
内存开销
访问效率
小文件
云存储
-
Keywords
Mass learning resources
Memory overhead
access efficiency
small file
Cloud storage
-
分类号
TP391.9
[自动化与计算机技术—计算机应用技术]
-
-
题名面向城轨线网的海量小文件存储方法
被引量：2
- 5
-
-
作者
刘靖
廖家赵
刘琼
-
机构
广州市地下铁道总公司建设事业总部
华南理工大学计算机科学与工程学院
-
出处
《计算机应用与软件》
CSCD
2016年第8期76-80,共5页
-
文摘
城轨线网小文件数据量巨大,传统的分布式文件系统很难为海量小文件存储提供符合需求的高吞吐、低延迟读写过程。根据城轨线网级业务的数据特点和以天为周期的数据访问方式,提出基于FastDFS分布式文件系统和Redis键值数据库的城轨线网海量小文件存储方法,将具有相关性的城轨小文件合并成大文件进行聚合写操作;根据FastDFS返回的大文件索引、小文件存储起始偏移量和小文件长度建立全局索引,利用Redis存储小文件名和全局索引的键值对;采用数据预取机制,预取创建时间相邻的数据。实验结果表明,相较于FastDFS系统,FastDFS-Redis系统的小文件读写吞吐量分别提高了9.35%和4.45%,达到明显改善城轨线网海量小文件的访问效率的目的。
-
关键词
小文件存储
城轨线网
FastDFS
REDIS
访问性能
-
Keywords
small file storage
Urban rail transit network
FastDFS
Redis
access performance
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名面向健康大数据快速读写的存储系统设计
被引量：4
- 6
-
-
作者
杨东日
陈跃
刘姝祎
-
机构
工业和信息化部软件与集成电路促进中心
西安交通大学电信学院
-
出处
《计算机工程与设计》
北大核心
2018年第10期3063-3067,共5页
-
文摘
通过分析海量数据快速读写的特点,提出海量数据的快速访问机制,研究并设计健康大数据快速读写存储系统。通过提供专有应用程序接口解决大规模小文件的高效存储,提升小文件存储访问性能;通过向大文件提供高速并行访问接口,提升大文件存储性能。实验结果表明,该系统在处理大文件读写方面性能稳定、性能良好。
-
关键词
健康大数据
海量数据
快速访问
存储系统
小文件
-
Keywords
health big data
massive data
quick access
storage systems
small file
-
分类号
TP311.5
[自动化与计算机技术—计算机软件与理论]
-
