期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
SQL-DFS:一种基于HDFS的海量小文件存储系统
被引量：
7
1
作者
马志强
杨双涛
+1 位作者
闫瑞
张泽广
《北京工业大学学报》
CAS
CSCD
北大核心
2016年第1期134-141,共8页
针对Hadoop分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时Name Node内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统.通过在Name Node中加入小文件处理模块实现了小文件...
针对Hadoop分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时Name Node内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统.通过在Name Node中加入小文件处理模块实现了小文件元数据由Name Node内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对Name Node的请求次数;通过将部分Data Node文件块的校验工作交由元数据存储集群完成,进一步降低了Name Node节点的负载压力.最终通过搭建HDFS和SQL-DFS实验平台,对HDFS和SQL-DFS 2种架构进行了小文件读写的对比测试,实验结果表明:SQLDFS在文件平均耗时(file average cost,FAC)和内存占用率方面均明显优于原HDFS架构,具有更好的小文件存储能力,可用于海量小文件的存储.
展开更多
关键词
Hadoop分布式文件系统(HDFS)
元数据存储集群
小文件
元数据
内存占用率
在线阅读
下载PDF
职称材料
TPCHSuite:一个TPC-H自动化测试工具的设计与实现
被引量：
2
2
作者
康强强
江舟
+1 位作者
金澈清
周傲英
《计算机研究与发展》
EI
CSCD
北大核心
2013年第S1期394-398,共5页
随着数据库管理技术的发展,市面上出现了多种数据库管理系统产品.如何有效地评测数据库系统变得非常关键.TPC-H即是一个易用、面向决策支持系统的评测系统,它总共包含了22个SQL查询语句.实现了一个支持TPC-H的评测系统,该评测系统也支持...
随着数据库管理技术的发展,市面上出现了多种数据库管理系统产品.如何有效地评测数据库系统变得非常关键.TPC-H即是一个易用、面向决策支持系统的评测系统,它总共包含了22个SQL查询语句.实现了一个支持TPC-H的评测系统,该评测系统也支持以CPU利用率和内存占用率做为性能指标.此外,当用户使用全部22个查询进行测评时,在海量数据情况下,可能导致执行时间非常缓慢,甚至会得不到查询结果,本原型系统支持用户自主选择SQL语句进行查询.
展开更多
关键词
评测系统
CPU利
用率
内存占用率
海量数据
查询
在线阅读
下载PDF
职称材料
题名
SQL-DFS:一种基于HDFS的海量小文件存储系统
被引量：
7
1
作者
马志强
杨双涛
闫瑞
张泽广
机构
内蒙古工业大学信息工程学院
出处
《北京工业大学学报》
CAS
CSCD
北大核心
2016年第1期134-141,共8页
基金
国家自然科学基金资助项目(61363052)
内蒙古自治区自然科学基金资助项目(2014MS0608)
内蒙古自治区高等学校科学研究项目(NJZY12052)
文摘
针对Hadoop分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时Name Node内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统.通过在Name Node中加入小文件处理模块实现了小文件元数据由Name Node内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对Name Node的请求次数;通过将部分Data Node文件块的校验工作交由元数据存储集群完成,进一步降低了Name Node节点的负载压力.最终通过搭建HDFS和SQL-DFS实验平台,对HDFS和SQL-DFS 2种架构进行了小文件读写的对比测试,实验结果表明:SQLDFS在文件平均耗时(file average cost,FAC)和内存占用率方面均明显优于原HDFS架构,具有更好的小文件存储能力,可用于海量小文件的存储.
关键词
Hadoop分布式文件系统(HDFS)
元数据存储集群
小文件
元数据
内存占用率
Keywords
Hadoop distributed file system（HDFS）
metadata storage clusters
small files
metadata
memory occupancy
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
TPCHSuite:一个TPC-H自动化测试工具的设计与实现
被引量：
2
2
作者
康强强
江舟
金澈清
周傲英
机构
华东师范大学软件学院上海市高可信计算重点实验室
出处
《计算机研究与发展》
EI
CSCD
北大核心
2013年第S1期394-398,共5页
基金
国家自然科学基金项目(60925008
61070052)
上海高校知识服务平台-可信物联网产学研联合研发中心(筹)项目(ZF1213)
文摘
随着数据库管理技术的发展,市面上出现了多种数据库管理系统产品.如何有效地评测数据库系统变得非常关键.TPC-H即是一个易用、面向决策支持系统的评测系统,它总共包含了22个SQL查询语句.实现了一个支持TPC-H的评测系统,该评测系统也支持以CPU利用率和内存占用率做为性能指标.此外,当用户使用全部22个查询进行测评时,在海量数据情况下,可能导致执行时间非常缓慢,甚至会得不到查询结果,本原型系统支持用户自主选择SQL语句进行查询.
关键词
评测系统
CPU利
用率
内存占用率
海量数据
查询
Keywords
evaluation system
CPU utilization
memory usage
massive data
query
分类号
TP311.13 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
SQL-DFS:一种基于HDFS的海量小文件存储系统
马志强
杨双涛
闫瑞
张泽广
《北京工业大学学报》
CAS
CSCD
北大核心
2016
7
在线阅读
下载PDF
职称材料
2
TPCHSuite:一个TPC-H自动化测试工具的设计与实现
康强强
江舟
金澈清
周傲英
《计算机研究与发展》
EI
CSCD
北大核心
2013
2
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
