检索结果-维普期刊中文期刊服务平台

一种性能优化的小文件存储访问策略的研究被引量：20: 1; 作者赵跃龙谢晓玲 +2 位作者蔡咏才王国华刘霖《计算机研究与发展》 EI CSCD 北大核心 2012年第7期1579-1586,共8页; 在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器... 展开更多; 关键词分布式文件系统小文件存储小文件存储访问块优化访问性能; 在线阅读下载PDF 职称材料

基于Hadoop的小文件存储优化方案被引量：12: 2; 作者李孟曹晟秦志光《电子科技大学学报》 EI CAS CSCD 北大核心 2016年第1期141-145,共5页; Hadoop作为成熟的分布式云平台,对较大的文件提供了可靠高效的存储服务,但在处理海量小文件时效率显著降低。该文提出了基于Hadoop的海量教育资源小文件的存储优化方案,利用教育资源小文件间的关联关系,将小文件进行合并成大文件以减少... 展开更多; 关键词 HADOOP 索引机制关联关系小文件存储; 在线阅读下载PDF 职称材料

面向城轨线网的海量小文件存储方法被引量：2: 3; 作者刘靖廖家赵刘琼《计算机应用与软件》 CSCD 2016年第8期76-80,共5页; 城轨线网小文件数据量巨大,传统的分布式文件系统很难为海量小文件存储提供符合需求的高吞吐、低延迟读写过程。根据城轨线网级业务的数据特点和以天为周期的数据访问方式,提出基于FastDFS分布式文件系统和Redis键值数据库的城轨线网海... 展开更多; 关键词小文件存储城轨线网 FastDFS REDIS 访问性能; 在线阅读下载PDF 职称材料

基于HDFS的创新知识云平台存储架构的研究与设计被引量：4: 4; 作者马建红霍振奇《计算机应用与软件》 CSCD 2016年第3期62-66,共5页; 针对现有存储结构无法满足海量创新知识带来的存储及服务需求的问题,提出一种改进的HDFS(Hadoop Distributed File System)分布式存储系统并应用到创新知识云平台。首先引入包文件及分布式索引服务,改进HDFS小文件存储的效率问题,然后... 展开更多; 关键词创新知识 HDFS 小文件存储单点故障; 在线阅读下载PDF 职称材料

基于Hadoop的地质矿产大数据分布式存储方法被引量：19: 5; 作者赵亚楠李朝奎 +1 位作者肖克炎范建福《地质通报》 CAS CSCD 北大核心 2019年第2期462-470,共9页; 随着TB级乃至PB级地质矿产大数据时代的到来,地质大数据的存储难题一直困扰着地质界,传统的地质数据存储与服务模式面临诸多难题。结合Hadoop提出了一种新的基于云计算环境的地质矿产数据存储方法,将该方法与传统Oracle数据库存储方法... 展开更多; 关键词地质矿产数据 HADOOP ORACLE 小文件存储; 在线阅读下载PDF 职称材料

题名一种性能优化的小文件存储访问策略的研究被引量：20: 1; 作者赵跃龙谢晓玲蔡咏才王国华刘霖; 机构华南理工大学计算机科学与工程学院; 出处《计算机研究与发展》 EI CSCD 北大核心 2012年第7期1579-1586,共8页; 基金国家自然科学基金项目(60573145) 教育部高等学校博士学科点专项科研基金项目(200805610019) 广州市科技计划应用基础资助基金项目(2010Y1-C681); 文摘在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率,提高了小文件访问性能;写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入,减少了文件碎片数量,提高了存储空间利用率;文件传输时利用局部性原理,提前发送批量的高访问率的小文件,降低了建立网络连接开销,提升了文件传输性能.理论分析和实验证明,SFSA的设计思想和方法能有效地优化小文件的存储访问性能.; 关键词分布式文件系统小文件存储小文件存储访问块优化访问性能; Keywords distributed file system small file storage small file storage access （SFSA） block optimization access performance; 分类号 TP333 [自动化与计算机技术—计算机系统结构]; 在线阅读下载PDF 职称材料

题名基于Hadoop的小文件存储优化方案被引量：12: 2; 作者李孟曹晟秦志光; 机构电子科技大学计算机科学与工程学院; 出处《电子科技大学学报》 EI CAS CSCD 北大核心 2016年第1期141-145,共5页; 基金教育部-中国移动科研基金(MCM20121041) 国家自然科学基金(61133016 +1 种基金 61103206) 国家863计划(2011AA010706); 文摘 Hadoop作为成熟的分布式云平台,对较大的文件提供了可靠高效的存储服务,但在处理海量小文件时效率显著降低。该文提出了基于Hadoop的海量教育资源小文件的存储优化方案,利用教育资源小文件间的关联关系,将小文件进行合并成大文件以减少文件数量,并索引机制访问小文件、元数据缓存和关联小文件预取机制来提高文件的读取效率。实验结果表明,该方法提高了Hadoop文件系统存储小文件的存取效率。; 关键词 HADOOP 索引机制关联关系小文件存储; Keywords Hadoop index mechanism relationship storage of small files; 分类号 TP391.6 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名面向城轨线网的海量小文件存储方法被引量：2: 3; 作者刘靖廖家赵刘琼; 机构广州市地下铁道总公司建设事业总部华南理工大学计算机科学与工程学院; 出处《计算机应用与软件》 CSCD 2016年第8期76-80,共5页; 文摘城轨线网小文件数据量巨大,传统的分布式文件系统很难为海量小文件存储提供符合需求的高吞吐、低延迟读写过程。根据城轨线网级业务的数据特点和以天为周期的数据访问方式,提出基于FastDFS分布式文件系统和Redis键值数据库的城轨线网海量小文件存储方法,将具有相关性的城轨小文件合并成大文件进行聚合写操作;根据FastDFS返回的大文件索引、小文件存储起始偏移量和小文件长度建立全局索引,利用Redis存储小文件名和全局索引的键值对;采用数据预取机制,预取创建时间相邻的数据。实验结果表明,相较于FastDFS系统,FastDFS-Redis系统的小文件读写吞吐量分别提高了9.35%和4.45%,达到明显改善城轨线网海量小文件的访问效率的目的。; 关键词小文件存储城轨线网 FastDFS REDIS 访问性能; Keywords Small file storage Urban rail transit network FastDFS Redis Access performance; 分类号 TP311 [自动化与计算机技术—计算机软件与理论]; 在线阅读下载PDF 职称材料

题名基于HDFS的创新知识云平台存储架构的研究与设计被引量：4: 4; 作者马建红霍振奇; 机构河北工业大学计算机科学与软件学院; 出处《计算机应用与软件》 CSCD 2016年第3期62-66,共5页; 文摘针对现有存储结构无法满足海量创新知识带来的存储及服务需求的问题,提出一种改进的HDFS(Hadoop Distributed File System)分布式存储系统并应用到创新知识云平台。首先引入包文件及分布式索引服务,改进HDFS小文件存储的效率问题,然后通过优化HDFS的命名空间备份及故障恢复服务,实现可用性更强、资源利用率更高的HDFS高可用架构。通过系统的设计和实现证明优化工作大大降低了命名节点的内存压力,提高了集群的可用性,并且改进的HDFS存储系统可以满足创新知识云平台的存储需求。; 关键词创新知识 HDFS 小文件存储单点故障; Keywords Innovative knowledge Hadoop Distributed File System（HDFS） Small files storage Single point of failure; 分类号 TP311 [自动化与计算机技术—计算机软件与理论]; 在线阅读下载PDF 职称材料

题名基于Hadoop的地质矿产大数据分布式存储方法被引量：19: 5; 作者赵亚楠李朝奎肖克炎范建福; 机构湖南科技大学地理空间信息技术国家地方联合工程实验室自然资源部地质信息技术重点实验室中国地质科学院矿产资源研究所; 出处《地质通报》 CAS CSCD 北大核心 2019年第2期462-470,共9页; 基金国土资源部公益性行业科研专项<地质大数据技术研究与应用试点>(编号:201511079-04) 国家自然科学基金项目<大范围三维城市模型快速构建方法及其泛在应用建模>(批准号:41571374) +1 种基金湖南省教育厅重点科技项目<城市三维复杂场景泛在感知建模与应用>(编号:16A070); 文摘随着TB级乃至PB级地质矿产大数据时代的到来,地质大数据的存储难题一直困扰着地质界,传统的地质数据存储与服务模式面临诸多难题。结合Hadoop提出了一种新的基于云计算环境的地质矿产数据存储方法,将该方法与传统Oracle数据库存储方法进行了数据存储实验对比。实验结果表明,该存储方法比传统方法更高效,同时有效地解决了Hhadoop存储中出现的小文件存储问题。研究成果为地质矿产数据的存储与管理提供了一种新的管理方法。; 关键词地质矿产数据 HADOOP ORACLE 小文件存储; Keywords geological and mineral data Hadoop Oracle storage of small files; 分类号 P628 [天文地球—地质矿产勘探]; 在线阅读下载PDF 职称材料

	题名	作者	出处	发文年	被引量	操作
1	一种性能优化的小文件存储访问策略的研究	赵跃龙谢晓玲蔡咏才王国华刘霖	《计算机研究与发展》 EI CSCD 北大核心	2012	20	在线阅读下载PDF 职称材料
2	基于Hadoop的小文件存储优化方案	李孟曹晟秦志光	《电子科技大学学报》 EI CAS CSCD 北大核心	2016	12	在线阅读下载PDF 职称材料
3	面向城轨线网的海量小文件存储方法	刘靖廖家赵刘琼	《计算机应用与软件》 CSCD	2016	2	在线阅读下载PDF 职称材料
4	基于HDFS的创新知识云平台存储架构的研究与设计	马建红霍振奇	《计算机应用与软件》 CSCD	2016	4	在线阅读下载PDF 职称材料
5	基于Hadoop的地质矿产大数据分布式存储方法	赵亚楠李朝奎肖克炎范建福	《地质通报》 CAS CSCD 北大核心	2019	19	在线阅读下载PDF 职称材料