期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
3
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
海量小文件系统的可移植操作系统接口兼容技术
被引量：
5
1
作者
陈博
何连跃
+2 位作者
严巍巍
徐照淼
徐俊
《计算机应用》
CSCD
北大核心
2018年第5期1389-1392,1398,共5页
基于Hadoop分布式文件系统（HDFS）研发的海量小文件系统（SMDFS）遗留了HDFS不兼容可移植操作系统接口（POSIX）约束的问题，为解决SMDFS的这一问题，提出基于本地缓存的POSIX兼容技术和基于数据暂存区的元数据高效管理技术。首先，通...
基于Hadoop分布式文件系统（HDFS）研发的海量小文件系统（SMDFS）遗留了HDFS不兼容可移植操作系统接口（POSIX）约束的问题，为解决SMDFS的这一问题，提出基于本地缓存的POSIX兼容技术和基于数据暂存区的元数据高效管理技术。首先，通过设置数据暂存区来实现读写模式文件流的重定向，然后建立异步线程池模型，实现数据暂存区镜像文件的同步，从而完成用户层到存储层的所有POSIX相关的文件操作。此外，借助跳表结构的元数据缓存实现List目录等元数据操作效率优化。测试表明，相较于HDFS的Linux客户端，基于技术成果实现的SMDFS3．0的随机读性能有10倍以上的性能提升，顺序读和顺序写性能有约3～4倍的提升，随机写性能可以达到本地文件系统的20％，基于目录的元数据缓存的设计使目录的List操作效率提升近10倍。但是，由于用户空间文件系统（FUSE）挂栽的客户端会引入额外的内核态和用户态切换等带来的开销，因此SMDFS3．0的Linux客户端相对于系统的Java接口会有大约50％的性能损耗。
展开更多
关键词
海量小文件系统
分布式
文件系统
可移植操作
系统
接口兼容
元数据缓存
云存储
在线阅读
下载PDF
职称材料
海量小文件系统中基于聚合单元的空间回收机制
被引量：
1
2
作者
徐俊
何连跃
+2 位作者
严巍巍
陈博
徐照淼
《计算机应用》
CSCD
北大核心
2018年第A01期108-111,共4页
由于开源分布式文件系统HDFS不支持随机读写,基于HDFS实现的分布海量小文件系统SMDFS只支持聚合空间的删除,但不支持文件粒度的删除。在分析SMDFS文件删除行为基础上,采用元数据实时删除和事后存储空间碎片整理结合的删除思路。由于SMDF...
由于开源分布式文件系统HDFS不支持随机读写,基于HDFS实现的分布海量小文件系统SMDFS只支持聚合空间的删除,但不支持文件粒度的删除。在分析SMDFS文件删除行为基础上,采用元数据实时删除和事后存储空间碎片整理结合的删除思路。由于SMDFS不支持从数据文件获取其中的未删除小文件,提出聚合单元的概念,每个数据文件对应一个聚合单元,借此可获得数据文件中所有的未删除的小文件和存储空间碎片。通过迁移未删除小文件和删除整个数据文件,实现存储空间碎片整理。设计了Master-Worker分布式空间回收程序框架,实现了SMDFS的文件删除功能。测试表明,支持文件删除的海量小文件系统SMDFS2. 1与原有的SMDFS2. 0相比,文件的读写性能没有明显下降;碎片整理时系统写性能降低30%,系统读性能降低18%。
展开更多
关键词
海量小文件系统
HADOOP分布式
文件系统
聚合单元
空间回收
SMDFS
在线阅读
下载PDF
职称材料
SMDFS分布式海量小文件系统的大空间聚合存储技术
被引量：
4
3
作者
严巍巍
何连跃
+1 位作者
李三霞
成颖佼
《计算机研究与发展》
EI
CSCD
北大核心
2015年第S2期29-34,共6页
海量小文件聚合存储技术大多以目录或逻辑目录为单位,将小文件聚合为实际存储的大文件并建立小文件的元数据信息,实现小文件的快速访问.传统小文件聚合存储技术读写操作性能受目录结构的影响差别较大.在现有研究成果的基础上,分析不同...
海量小文件聚合存储技术大多以目录或逻辑目录为单位,将小文件聚合为实际存储的大文件并建立小文件的元数据信息,实现小文件的快速访问.传统小文件聚合存储技术读写操作性能受目录结构的影响差别较大.在现有研究成果的基础上,分析不同目录结构聚合空间的特征,提出大空间聚合存储技术和元数据分裂技术,为不同目录结构的海量小文件存储提供通用的解决方法,并基于开源分布式文件系统HDFS实现了一个分布式海量小文件系统SMDFS.测试表明,大空间聚合技术能有效支持不同目录结构的海量小文件数据,相较于SMDFS早期版本,小文件数据装载和访问性能均有很大程度的提高.
展开更多
关键词
海量小文件系统
HDFS
聚合存储
元数据分裂
分布式元数据管理
在线阅读
下载PDF
职称材料
题名
海量小文件系统的可移植操作系统接口兼容技术
被引量：
5
1
作者
陈博
何连跃
严巍巍
徐照淼
徐俊
机构
国防科技大学计算机学院
北京网云飞信息技术有限公司
出处
《计算机应用》
CSCD
北大核心
2018年第5期1389-1392,1398,共5页
文摘
基于Hadoop分布式文件系统（HDFS）研发的海量小文件系统（SMDFS）遗留了HDFS不兼容可移植操作系统接口（POSIX）约束的问题，为解决SMDFS的这一问题，提出基于本地缓存的POSIX兼容技术和基于数据暂存区的元数据高效管理技术。首先，通过设置数据暂存区来实现读写模式文件流的重定向，然后建立异步线程池模型，实现数据暂存区镜像文件的同步，从而完成用户层到存储层的所有POSIX相关的文件操作。此外，借助跳表结构的元数据缓存实现List目录等元数据操作效率优化。测试表明，相较于HDFS的Linux客户端，基于技术成果实现的SMDFS3．0的随机读性能有10倍以上的性能提升，顺序读和顺序写性能有约3～4倍的提升，随机写性能可以达到本地文件系统的20％，基于目录的元数据缓存的设计使目录的List操作效率提升近10倍。但是，由于用户空间文件系统（FUSE）挂栽的客户端会引入额外的内核态和用户态切换等带来的开销，因此SMDFS3．0的Linux客户端相对于系统的Java接口会有大约50％的性能损耗。
关键词
海量小文件系统
分布式
文件系统
可移植操作
系统
接口兼容
元数据缓存
云存储
Keywords
mass small file system
distributed file system
Portable Operating System Interface of UNIX （POSIX） compatibility
metadata cache
cloud storage
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
海量小文件系统中基于聚合单元的空间回收机制
被引量：
1
2
作者
徐俊
何连跃
严巍巍
陈博
徐照淼
机构
国防科技大学计算机学院
北京网云飞信息技术有限公司
出处
《计算机应用》
CSCD
北大核心
2018年第A01期108-111,共4页
文摘
由于开源分布式文件系统HDFS不支持随机读写,基于HDFS实现的分布海量小文件系统SMDFS只支持聚合空间的删除,但不支持文件粒度的删除。在分析SMDFS文件删除行为基础上,采用元数据实时删除和事后存储空间碎片整理结合的删除思路。由于SMDFS不支持从数据文件获取其中的未删除小文件,提出聚合单元的概念,每个数据文件对应一个聚合单元,借此可获得数据文件中所有的未删除的小文件和存储空间碎片。通过迁移未删除小文件和删除整个数据文件,实现存储空间碎片整理。设计了Master-Worker分布式空间回收程序框架,实现了SMDFS的文件删除功能。测试表明,支持文件删除的海量小文件系统SMDFS2. 1与原有的SMDFS2. 0相比,文件的读写性能没有明显下降;碎片整理时系统写性能降低30%,系统读性能降低18%。
关键词
海量小文件系统
HADOOP分布式
文件系统
聚合单元
空间回收
SMDFS
Keywords
mass small file system
Hadoop Distributed File System （HDFS）
aggregation unit
space reclamation
SMDFS
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
SMDFS分布式海量小文件系统的大空间聚合存储技术
被引量：
4
3
作者
严巍巍
何连跃
李三霞
成颖佼
机构
国防科学技术大学计算机学院
出处
《计算机研究与发展》
EI
CSCD
北大核心
2015年第S2期29-34,共6页
文摘
海量小文件聚合存储技术大多以目录或逻辑目录为单位,将小文件聚合为实际存储的大文件并建立小文件的元数据信息,实现小文件的快速访问.传统小文件聚合存储技术读写操作性能受目录结构的影响差别较大.在现有研究成果的基础上,分析不同目录结构聚合空间的特征,提出大空间聚合存储技术和元数据分裂技术,为不同目录结构的海量小文件存储提供通用的解决方法,并基于开源分布式文件系统HDFS实现了一个分布式海量小文件系统SMDFS.测试表明,大空间聚合技术能有效支持不同目录结构的海量小文件数据,相较于SMDFS早期版本,小文件数据装载和访问性能均有很大程度的提高.
关键词
海量小文件系统
HDFS
聚合存储
元数据分裂
分布式元数据管理
Keywords
massive small files system
HDFS
aggregate storage
metadata division
distributed metadata management
分类号
TP333 [自动化与计算机技术—计算机系统结构]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
海量小文件系统的可移植操作系统接口兼容技术
陈博
何连跃
严巍巍
徐照淼
徐俊
《计算机应用》
CSCD
北大核心
2018
5
在线阅读
下载PDF
职称材料
2
海量小文件系统中基于聚合单元的空间回收机制
徐俊
何连跃
严巍巍
陈博
徐照淼
《计算机应用》
CSCD
北大核心
2018
1
在线阅读
下载PDF
职称材料
3
SMDFS分布式海量小文件系统的大空间聚合存储技术
严巍巍
何连跃
李三霞
成颖佼
《计算机研究与发展》
EI
CSCD
北大核心
2015
4
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
