期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于HDFS开源架构与多级索引表的海量数据检索mDHT算法
被引量：
4
1
作者
汤羽
王英杰
+1 位作者
范爱华
姚远哲
《计算机科学》
CSCD
北大核心
2013年第2期195-199,234,共6页
针对大规模能源数据系统的存储与快速检索需求,提出了一种基于HDFS/Hadoop开源平台的云存储架构及多级索引目录体系,以及此架构下的基于多级索引表的mDHT算法,并完成了算法的MapReduce编程实现。基于上述算法完成的4800万条数据的仿真...
针对大规模能源数据系统的存储与快速检索需求,提出了一种基于HDFS/Hadoop开源平台的云存储架构及多级索引目录体系,以及此架构下的基于多级索引表的mDHT算法,并完成了算法的MapReduce编程实现。基于上述算法完成的4800万条数据的仿真实验表明:在数据量达到1200万～4800万条时,采用多级索引表的mDHT算法较常规的MS SQL Server实现和HDFS/Hive方法在检索性能方面有质的飞跃;与单级索引表检索方法比较,在数据查找时间上也有24.5%～57.8%的显著降低。文中提出的基于多级索引表的DHT算法为构建基于云存储架构的海量数据快速搜索引擎提供了一个关键技术。
展开更多
关键词
大规模数据处理
云存储
多级索引表
查找算法
MAPREDUCE
在线阅读
下载PDF
职称材料
题名
基于HDFS开源架构与多级索引表的海量数据检索mDHT算法
被引量：
4
1
作者
汤羽
王英杰
范爱华
姚远哲
机构
电子科技大学
西安工程大学
出处
《计算机科学》
CSCD
北大核心
2013年第2期195-199,234,共6页
基金
教育部留学回国人员科研启动基金资助
文摘
针对大规模能源数据系统的存储与快速检索需求,提出了一种基于HDFS/Hadoop开源平台的云存储架构及多级索引目录体系,以及此架构下的基于多级索引表的mDHT算法,并完成了算法的MapReduce编程实现。基于上述算法完成的4800万条数据的仿真实验表明:在数据量达到1200万～4800万条时,采用多级索引表的mDHT算法较常规的MS SQL Server实现和HDFS/Hive方法在检索性能方面有质的飞跃;与单级索引表检索方法比较,在数据查找时间上也有24.5%～57.8%的显著降低。文中提出的基于多级索引表的DHT算法为构建基于云存储架构的海量数据快速搜索引擎提供了一个关键技术。
关键词
大规模数据处理
云存储
多级索引表
查找算法
MAPREDUCE
Keywords
Extra-large scale data processing Cloud storage Multi-index Search algorithm, MapReduce
分类号
TP393 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于HDFS开源架构与多级索引表的海量数据检索mDHT算法
汤羽
王英杰
范爱华
姚远哲
《计算机科学》
CSCD
北大核心
2013
4
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
