期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
HiBase:一种基于分层式索引的高效HBase查询技术与系统
被引量：
56
1
作者
葛微
罗圣美
+6 位作者
周文辉
赵頔
唐云
周娟
曲文武
袁春风
黄宜华
《计算机学报》
EI
CSCD
北大核心
2016年第1期140-153,共14页
大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主...
大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主键索引,不支持非主键索引,这导致HBase的数据查询效率较低,难以满足数据实时或准实时查询需求.为此,在HBase基础上提供面向非主键的快速查询能力,是目前Hadoop环境下急需研究和解决的一个重要问题.该文研究提出了一种基于分层式HBase非主键索引的查询模型和方法,该模型和方法首先建立基于HBase的持久性索引.然后,为了利用内存提升查询性能,该文进一步提出了一种索引热点数据缓存技术和一种高效的热度累积缓存替换策略,以降低对HBase索引表的磁盘访问开销.热度累积缓存替换策略克服了最近最少使用（LRU）算法的局限性,考虑数据访问的累积热度和时间局部特性,从而更准确地捕获数据访问的特征.为了使索引热点数据缓存内存层具有良好的可扩展性,HiBase设计了基于一致性哈希的分布式内存缓存,支持高效的基于非主键的单点查询和范围查询.最终,该文设计实现了完整的分层式索引和查询系统HiBase.在千万至十亿条记录规模数据集上的测试结果表明,HiBase冷查询响应时间比标准HBase快65倍（大结果集）到3000多倍（小结果集）;而引入基于查询热度累积算法的内存索引缓存方法后,热查询性能可在HiBase冷查询基础上再提升5~15倍,使得总体查询性能比标准HBase快300多倍（大结果集）到1.7万倍（小结果集）,比开源的Hindex系统快5~20倍.
展开更多
关键词
HBASE
非
主键索引
查询处理
分层式
索引
缓存替换策略
大数据
在线阅读
下载PDF
职称材料
基于Kudu的大数据平台实时业务处理能力提升方案
被引量：
2
2
作者
顾飞杨
孔莹
《电信科学》
2019年第10期151-156,共6页
针对目前Hadoop大数据平台实时业务处理能力较差的难点,研究了国际最先进的Kudu列存储作为HDFS块存储的有效补充的理论,阐述了利用Kudu和Spark提供的主键索引和内存加速,有效解决大数据平台无法支持实时入库、增量更新和SQL关联查询等...
针对目前Hadoop大数据平台实时业务处理能力较差的难点,研究了国际最先进的Kudu列存储作为HDFS块存储的有效补充的理论,阐述了利用Kudu和Spark提供的主键索引和内存加速,有效解决大数据平台无法支持实时入库、增量更新和SQL关联查询等业务痛点的技术实现方法。实验效果证明了方法对提升大数据平台实时业务处理能力的作用。
展开更多
关键词
Kudu
大数据
列存储
主键索引
内存加速
实时入库
增量更新
SQL关联查询
在线阅读
下载PDF
职称材料
题名
HiBase:一种基于分层式索引的高效HBase查询技术与系统
被引量：
56
1
作者
葛微
罗圣美
周文辉
赵頔
唐云
周娟
曲文武
袁春风
黄宜华
机构
南京大学计算机软件新技术国家重点实验室
江苏省软件新技术与产业化协同创新中心
中兴通讯股份有限公司
清华大学计算机科学与技术系
出处
《计算机学报》
EI
CSCD
北大核心
2016年第1期140-153,共14页
基金
国家自然科学基金专项基金(61223003
61362006)
中兴通讯产学研合作项目资助
文摘
大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主键索引,不支持非主键索引,这导致HBase的数据查询效率较低,难以满足数据实时或准实时查询需求.为此,在HBase基础上提供面向非主键的快速查询能力,是目前Hadoop环境下急需研究和解决的一个重要问题.该文研究提出了一种基于分层式HBase非主键索引的查询模型和方法,该模型和方法首先建立基于HBase的持久性索引.然后,为了利用内存提升查询性能,该文进一步提出了一种索引热点数据缓存技术和一种高效的热度累积缓存替换策略,以降低对HBase索引表的磁盘访问开销.热度累积缓存替换策略克服了最近最少使用（LRU）算法的局限性,考虑数据访问的累积热度和时间局部特性,从而更准确地捕获数据访问的特征.为了使索引热点数据缓存内存层具有良好的可扩展性,HiBase设计了基于一致性哈希的分布式内存缓存,支持高效的基于非主键的单点查询和范围查询.最终,该文设计实现了完整的分层式索引和查询系统HiBase.在千万至十亿条记录规模数据集上的测试结果表明,HiBase冷查询响应时间比标准HBase快65倍（大结果集）到3000多倍（小结果集）;而引入基于查询热度累积算法的内存索引缓存方法后,热查询性能可在HiBase冷查询基础上再提升5~15倍,使得总体查询性能比标准HBase快300多倍（大结果集）到1.7万倍（小结果集）,比开源的Hindex系统快5~20倍.
关键词
HBASE
非
主键索引
查询处理
分层式
索引
缓存替换策略
大数据
Keywords
HBase
secondary index
query processing
hierarchical index
cache replacementpolicy
big data
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
基于Kudu的大数据平台实时业务处理能力提升方案
被引量：
2
2
作者
顾飞杨
孔莹
机构
中国电信股份有限公司上海分公司
出处
《电信科学》
2019年第10期151-156,共6页
文摘
针对目前Hadoop大数据平台实时业务处理能力较差的难点,研究了国际最先进的Kudu列存储作为HDFS块存储的有效补充的理论,阐述了利用Kudu和Spark提供的主键索引和内存加速,有效解决大数据平台无法支持实时入库、增量更新和SQL关联查询等业务痛点的技术实现方法。实验效果证明了方法对提升大数据平台实时业务处理能力的作用。
关键词
Kudu
大数据
列存储
主键索引
内存加速
实时入库
增量更新
SQL关联查询
Keywords
Kudu
big data
column storage
primary key index
memory acceleration
real-time access
incremental update
SQL join query
分类号
TP311.13 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
HiBase:一种基于分层式索引的高效HBase查询技术与系统
葛微
罗圣美
周文辉
赵頔
唐云
周娟
曲文武
袁春风
黄宜华
《计算机学报》
EI
CSCD
北大核心
2016
56
在线阅读
下载PDF
职称材料
2
基于Kudu的大数据平台实时业务处理能力提升方案
顾飞杨
孔莹
《电信科学》
2019
2
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
