期刊文献+
共找到134篇文章
< 1 2 7 >
每页显示 20 50 100
铁路通信数据HBase分布式查询系统设计 被引量:1
1
作者 马雁波 《电子设计工程》 2024年第5期156-159,164,共5页
目前设计的铁路通信数据分布式查询系统响应时间存在较大延迟,不具备实时性。为了解决上述问题,基于HBase设计了一种新的铁路通信数据分布式查询系统。配备三台主机,构建分布式查询模式,通过Linux组件和HDFS目录构建集群,同时建立数据... 目前设计的铁路通信数据分布式查询系统响应时间存在较大延迟,不具备实时性。为了解决上述问题,基于HBase设计了一种新的铁路通信数据分布式查询系统。配备三台主机,构建分布式查询模式,通过Linux组件和HDFS目录构建集群,同时建立数据存储模块和数据查询模块。利用HBase存储算法设定存储模型,得到逻辑片段集合,通过分析逻辑关系实现存储调度。实验结果表明,设计的基于HBase的铁路通信数据分布式查询系统数据写入性能响应延迟时间低于0.2 ms,缓冲性能写入延迟时间低于0.1 ms,能够很好地保证查询实时性。 展开更多
关键词 hbase 铁路通信 通信数据 数据分布 查询系统
在线阅读 下载PDF
基于HBase的中文短文本快速检索方案研究
2
作者 赵航 尹铁源 《长江信息通信》 2024年第3期125-129,共5页
伴随着信息时代的飞速发展,生活中每个行业内需要处理的信息成倍递增。对于海量的数据在完全分布式的环境下计算和存储更为合适。但是在检索方面,对于中文短文本数据的检索任务时效率却略显不足。综上所述,文章设计了一种基于HBase的中... 伴随着信息时代的飞速发展,生活中每个行业内需要处理的信息成倍递增。对于海量的数据在完全分布式的环境下计算和存储更为合适。但是在检索方面,对于中文短文本数据的检索任务时效率却略显不足。综上所述,文章设计了一种基于HBase的中文短文本快速检索方案。首先通过BTM训练出对应的主题概率分布。其次将传统的KNN文本分类结合潜在的中文语义分析,来实现短文本的潜在主题文本分类,并设计了基于MapReduce并行化KNN文本主题分类来解决海量数据计算量大的问题,最后将文本主题分类结果与ES上的Top Hits相结合,构建对应表的二级索引来避免对于原始文本数据复杂的全表扫描。从而实现快速检索。最后通过实验对比,这种方案比传统的HBase检索中文短数据的方案效率更高。 展开更多
关键词 hbase BTM KNN 文本分类
在线阅读 下载PDF
HOS:一种基于HBase的分布式存储系统设计与实现 被引量:18
3
作者 季一木 张宁 +4 位作者 尧海昌 李奎 李航 刘尚东 王汝传 《南京邮电大学学报(自然科学版)》 北大核心 2019年第5期63-71,共9页
大数据时代,数据快速增长,迫切需要寻找有效的数据存储方案,HBase系统具有分布式、列式存储的特点,为大数据的存储管理提供了一种高效的解决方案。由于HBase只支持主键索引,对于非主键查询效率低下,难以满足实时需求。为此,提出一种分... 大数据时代,数据快速增长,迫切需要寻找有效的数据存储方案,HBase系统具有分布式、列式存储的特点,为大数据的存储管理提供了一种高效的解决方案。由于HBase只支持主键索引,对于非主键查询效率低下,难以满足实时需求。为此,提出一种分层式索引查询模型,该模型基于HBase建立持久性索引层,基于Redis建立分布式热点索引缓存层。前者为存储在HBase中的数据建立索引表,提高查询效率,后者基于Redis在内存中存储热点索引,降低磁盘访问开销,进一步提高查询效率。最终,依据此模型实现了分层式索引查询系统HOS,基于Imagenet图片数据集对HOS进行实验,实验结果表明,HOS数据查询性能优于标准HBase。 展开更多
关键词 hbase 查询处理 分层式索引 分布式存储
在线阅读 下载PDF
HBase中半结构化时空数据存储与查询处理 被引量:2
4
作者 封孝生 张翀 +2 位作者 陈晓莹 唐九阳 葛斌 《国防科技大学学报》 EI CAS CSCD 北大核心 2016年第3期174-181,共8页
针对在HBase中如何进行有效的半结构化时空数据存储和查询问题展开研究,对该问题进行形式化描述,并利用半结构化处理方法 TwigStack提出HBase的半结构化时空数据存储模型,在此基础上开展了半结构化的时空范围查询和kNN查询。在真实数据... 针对在HBase中如何进行有效的半结构化时空数据存储和查询问题展开研究,对该问题进行形式化描述,并利用半结构化处理方法 TwigStack提出HBase的半结构化时空数据存储模型,在此基础上开展了半结构化的时空范围查询和kNN查询。在真实数据集中进行实验,与需要硬件配置较高的MongoDB进行了对比,结果表明在普通配置的机器上,所提出的半结构化时空查询算法与MongoDB性能相近,在实际中具有优势。 展开更多
关键词 时空数据 半结构化 hbase 时空范围查询 k NN查询
在线阅读 下载PDF
基于自定义的LIRe和HBase的海量医学图像检索 被引量:3
5
作者 郝娟 吕晓琪 +2 位作者 赵瑛 任国印 张明 《电视技术》 北大核心 2016年第5期116-120,135,共6页
为了解决海量医学图像检索效率低的问题,提出一种自定义的LIRe和HBase相结合的方案。首先,将医学图像上传到HDFS;然后,通过自定义LIRe框架分别提取海量医学图像的形状以及纹理特征并将特征向量及图像的绝对路径存储到HBase中。最后,利用... 为了解决海量医学图像检索效率低的问题,提出一种自定义的LIRe和HBase相结合的方案。首先,将医学图像上传到HDFS;然后,通过自定义LIRe框架分别提取海量医学图像的形状以及纹理特征并将特征向量及图像的绝对路径存储到HBase中。最后,利用MapReduce模型以及图像特征索引工具LIRe方便地对医学图像特征建立索引进行特征匹配实现检索。实验结果证明,自定义的LIRe提高了检索准确性,相比将医学图像以及特征向量均存储在HDFS中,也提高了检索效率。 展开更多
关键词 LIRe HDFS MAPREDUCE hbase 医学图像检索
在线阅读 下载PDF
HBase负载均衡分析及优化策略 被引量:4
6
作者 黄伟建 宋园园 《微电子学与计算机》 CSCD 北大核心 2016年第4期125-128,共4页
HBase作为Hadoop分布式开源云数据库因其高可用性等优势越来越受到青睐,但是随着大量数据的注入,HBase对负载的分配状况将直接影响到整个集群的性能优劣.针对原有负载均衡算法在负载分配过程中可能产生的负载严重不均衡问题,通过分析原... HBase作为Hadoop分布式开源云数据库因其高可用性等优势越来越受到青睐,但是随着大量数据的注入,HBase对负载的分配状况将直接影响到整个集群的性能优劣.针对原有负载均衡算法在负载分配过程中可能产生的负载严重不均衡问题,通过分析原有算法和问题出现的因素,提出一种基于子表限制的负载均衡改进方法,并通过与不均衡状况下的对比实验,验证改进后的分配方式可以有效利用集群中各个节点的资源,从而提高分布式集群性能. 展开更多
关键词 云计算 hbase 负载均衡 节点资源 集群性能
在线阅读 下载PDF
基于HBase数据分类的压缩策略选择方法 被引量:8
7
作者 王海艳 伏彩航 《通信学报》 EI CSCD 北大核心 2016年第4期12-22,共11页
为解决现有的HBase数据压缩策略选择方法未考虑数据的冷热性,以及在选择过程中存在片面性和不可靠性的缺陷,提出了基于HBase数据分类的压缩策略选择方法。依据数据文件的访问频度将HBase数据划分为冷热数据,并限定具体的访问级别;在此... 为解决现有的HBase数据压缩策略选择方法未考虑数据的冷热性,以及在选择过程中存在片面性和不可靠性的缺陷,提出了基于HBase数据分类的压缩策略选择方法。依据数据文件的访问频度将HBase数据划分为冷热数据,并限定具体的访问级别;在此基础上增加评估层,综合考虑基于相邻区和统计列的选择方法,提出基于数据访问级别的压缩策略选择方法。仿真实验及结果表明,提出的压缩策略选择方法不仅节省了存储空间,还大大提高了数据查询的性能。 展开更多
关键词 数据压缩 hbase 压缩策略选择方法 冷热数据
在线阅读 下载PDF
基于Hadoop和HBase的分布式索引模型的研究 被引量:5
8
作者 施磊磊 施化吉 +1 位作者 束长波 宋玉平 《信息技术》 2015年第6期109-111,114,共4页
随着互联网上信息量飞速增长,海量数据的索引出现了难题,现行的索引方案已经难以提供高效、可靠的服务,为此,设计并实现了一种针对海量数据进行索引的平台模型。该平台模型首先利用Solr分布式索引器生成索引文件,然后利用Hadoop分布式集... 随着互联网上信息量飞速增长,海量数据的索引出现了难题,现行的索引方案已经难以提供高效、可靠的服务,为此,设计并实现了一种针对海量数据进行索引的平台模型。该平台模型首先利用Solr分布式索引器生成索引文件,然后利用Hadoop分布式集群,以HDFS分布式文件系统、Map Reduce分布式并行计算模型、Zookeeper同步协同系统以及Hbase分布式数据库技术来处理、协调管理索引和存储海量数据,最后通过实验测试,该平台模型可以克服现行的海量数据索引时存在的效率低的问题,同时具有良好的扩展性和可靠性。 展开更多
关键词 HADOOP集群 SOLR hbase
在线阅读 下载PDF
基于HBase的非关系型数据库损坏数据隔离技术 被引量:1
9
作者 胡楠 乔林 +1 位作者 冉冉 胡畔 《信息技术》 2017年第8期113-116,共4页
随着科学技术的发展,数据化信息呈爆炸式增长,数据信息的处理和储存问题随之产生,因此,数据库系统安全变得至关重要。为增强合法数据的可用性,有效地解决损坏数据隔离问题,文中以HBase为基础,提出了针对非关系型数据库损坏数据隔离技术... 随着科学技术的发展,数据化信息呈爆炸式增长,数据信息的处理和储存问题随之产生,因此,数据库系统安全变得至关重要。为增强合法数据的可用性,有效地解决损坏数据隔离问题,文中以HBase为基础,提出了针对非关系型数据库损坏数据隔离技术模型,由于HBase吞吐量高、延迟低、自身的持久化等优点,依靠两阶段提交协议完成了多行多表之间的同步,同时使用HBase的单独一列实现锁服务,并对分布式系统中的问题进行研究,HBase调用read uncommitted、read committed和repeatable read三种隔离级别以满足不同类型损坏数据隔离技术的要求,并试验证明了该隔离技术具有更高的数据利用率,在事务运行的空间和时间性能负载上有着重要的现实意义和应用价值。 展开更多
关键词 隔离技术 hbase 非关系型数据库 损坏数据 性能实验
在线阅读 下载PDF
基于HBase的BIM模型存储技术研究 被引量:4
10
作者 陈远 岳石花 《土木建筑工程信息技术》 2017年第4期74-81,共8页
随着计算机互联网技术的飞速发展,建筑信息模型技术(BIM)应运而生。BIM作为一种新兴的建筑技术理念,推动着建筑行业发生巨大的变革,同时,大数据、云计算技术也成为当下热门话题。将大数据云计算与BIM技术相结合,将是未来建筑行业的发展... 随着计算机互联网技术的飞速发展,建筑信息模型技术(BIM)应运而生。BIM作为一种新兴的建筑技术理念,推动着建筑行业发生巨大的变革,同时,大数据、云计算技术也成为当下热门话题。将大数据云计算与BIM技术相结合,将是未来建筑行业的发展趋势。本文研究如何将BIM模型存储在基于大数据平台的开源HBase数据库中。通过对BIM模型的开放性标准IFC的内部结构进行研究及解析,设计出基于IFC的HBase数据库的格式,然后开发基于IFC格式的HBase JAVA API总体类库。最后通过运用HBase JAVA API存储示例说明存储的技术方法。 展开更多
关键词 BIM IFC hbase JAVA API 数据存储
在线阅读 下载PDF
一种基于HBase存储引擎的工业大数据前向插值方法 被引量:2
11
作者 鲍远松 董文生 +2 位作者 万英杰 黄明 李亚贝 《信息技术与标准化》 2016年第9期56-59,共4页
介绍了以HBase为存储引擎的工业大数据存储方案,在此基础上设计并实现了基于HBase过滤器的前向插值算法,使得HBase能够更加方便地应用于工业大数据领域,并在产品开发和项目推广中大量应用。
关键词 大数据 hbase 前向插值 存储设计 过滤器
在线阅读 下载PDF
Phoenix+HBase存储仓库在流动人口统计中的应用
12
作者 田秀劳 柳华勃 +5 位作者 廖聪 井光文 梁小江 王贝贝 张正军 徐嘉驰 《西安邮电大学学报》 2017年第1期111-115,共5页
利用Phoenix+HBase存储仓库对流动人口统计数据库进行读写和查询。在Spark计算框架下将不同类型的数据以结构化的方式存入分布式数据库中,测试该存储仓库的读写及查询性能。对比实验结果表明,Phoenix+HBase既可以操作非结构化数据又可... 利用Phoenix+HBase存储仓库对流动人口统计数据库进行读写和查询。在Spark计算框架下将不同类型的数据以结构化的方式存入分布式数据库中,测试该存储仓库的读写及查询性能。对比实验结果表明,Phoenix+HBase既可以操作非结构化数据又可以操作结构化数据,并且查询效率比Hive有明显提升,满足流动人口统计对数据库存储的需求。 展开更多
关键词 流动人口统计 存储技术 Phoneix hbase Hive
在线阅读 下载PDF
Hadoop架构下原生Hbase、Hive、Lealone、Phoenix等各操作组件的比较 被引量:1
13
作者 马晓亮 田丰 《广东通信技术》 2017年第3期71-74,共4页
通过对比性研究测试,获得在Hadoop架构下,基于HBASE的各操作组件Hive,Lealone,Phoenix等在处理百万级设备接入、数亿条数据时的功能、性能参数以及稳定性情况,从而让中小企业使用者在物联网时代,针对不同应用场景和需要处理的数据量,以... 通过对比性研究测试,获得在Hadoop架构下,基于HBASE的各操作组件Hive,Lealone,Phoenix等在处理百万级设备接入、数亿条数据时的功能、性能参数以及稳定性情况,从而让中小企业使用者在物联网时代,针对不同应用场景和需要处理的数据量,以及所关心的性能指标来选择相应的技术。 展开更多
关键词 大数据 HADOOP hbase Hive Lealone PHOENIX RMCS
在线阅读 下载PDF
HBase大对象数据调度自整定控制算法
14
作者 王静蕾 孔德武 《科技通报》 北大核心 2015年第2期137-139,共3页
提出一种基于趋化重采样的HBase大对象数据调度自整定控制算法,在数据接收端进行数据包接受、重组并解码,提高拆包、组包的效率,构建基于UDP协议的HBase大对象数据调度总体结构模型。定义趋化值与量化值之间的差值进行熵编码,在接收端... 提出一种基于趋化重采样的HBase大对象数据调度自整定控制算法,在数据接收端进行数据包接受、重组并解码,提高拆包、组包的效率,构建基于UDP协议的HBase大对象数据调度总体结构模型。定义趋化值与量化值之间的差值进行熵编码,在接收端先把数据包进行重组,得到HBase大对象数据的实时传输系统,实现数据调度自整定控制。仿真实验表明,采用了该自整定控制算法,HBase大对象数据传输的准确性和稳定性都有明显的提高,自整定控制方法能有效降低丢包数,避免延时与丢帧,能有效地对冗余信息和失稳波动信息进行整定处理。 展开更多
关键词 hbase大对象数据 控制算法 趋化重采样
在线阅读 下载PDF
基于MapReduce-HBase的Apriori算法的改进与研究 被引量:6
15
作者 程阳 章韵 《南京邮电大学学报(自然科学版)》 北大核心 2018年第5期91-99,共9页
Apriori算法是关联规则数据挖掘领域最经典的算法之一,其挖掘效果已经得到了企业界的广泛认可。大数据时代的到来,使得Apriori算法已经无法适应海量数据挖掘的需求。文中基于剪枝策略、MapReduce编程模型对原始Apriori算法进行改进(MR-A... Apriori算法是关联规则数据挖掘领域最经典的算法之一,其挖掘效果已经得到了企业界的广泛认可。大数据时代的到来,使得Apriori算法已经无法适应海量数据挖掘的需求。文中基于剪枝策略、MapReduce编程模型对原始Apriori算法进行改进(MR-Apriori算法);在此基础上引入HBase数据库继续对MR-Apriori算法改进(MRH-Apriori算法),实现了Apriori算法并行化。在Hadoop集群上对MR-Apriori算法和MRH-Apriori算法分别从不同事务集规模、不同节点数、不同最小支持度三个方面进行对比,结果表明MRH-Apriori算法具有更高的高效性和良好的可扩展性。 展开更多
关键词 剪枝策略 MAPREDUCE hbase APRIORI算法
在线阅读 下载PDF
基于HBase跨行事务功能的研究
16
作者 王建辉 《信息通信》 2014年第4期134-134,共1页
随着HBase分布式数据库的广泛应用,大量基于HBase的应用越来越多,但是由于HBase本身不支持跨行事务性的功能,所以在传统应用向分布式HBase迁移中,会出现功能不兼容问题。文章研究了HBase的实现原理,在其基础上修改原代码,实现了跨行事... 随着HBase分布式数据库的广泛应用,大量基于HBase的应用越来越多,但是由于HBase本身不支持跨行事务性的功能,所以在传统应用向分布式HBase迁移中,会出现功能不兼容问题。文章研究了HBase的实现原理,在其基础上修改原代码,实现了跨行事务性的功能,并对其进行了试验,对比修改效果。 展开更多
关键词 hbase 分布式数据库 事务
在线阅读 下载PDF
基于HBase的飞参数据存储技术 被引量:4
17
作者 吕游 管林 +2 位作者 张家叶子 范纯龙 丁国辉 《沈阳航空航天大学学报》 2016年第3期79-83,共5页
随着数据记录技术的发展,飞参文件记录的信号数量和信号记录密度都在快速增长,飞参数据记录总量的快速增加促使故障分析等方面的飞参数据分析需求更加多元和迫切。传统的飞参数据处理方法以文件为单位,无法对跨文件的联合分析和特定信... 随着数据记录技术的发展,飞参文件记录的信号数量和信号记录密度都在快速增长,飞参数据记录总量的快速增加促使故障分析等方面的飞参数据分析需求更加多元和迫切。传统的飞参数据处理方法以文件为单位,无法对跨文件的联合分析和特定信号集的分析提供有效的支持。针对飞参文件中数据存储和使用的局限,提出一个基于HBase数据库的分布式存储架构,将飞参文件中的数据依据飞行参数存储到HBase数据库中,实现了对飞行信号数据的列存储和对扩展检索需求的良好支持。实验结果表明,该种存储方法大大加快了面向飞行参数的数据访问效率,对飞参数据的综合利用提供了存储管理上的有益参考。 展开更多
关键词 飞参文件 飞行信号 hbase 分布式存储
在线阅读 下载PDF
基于HBase的高效结构化数据查询方法研究 被引量:4
18
作者 沙学府 陆保国 何锡点 《数字技术与应用》 2015年第5期85-86,共2页
随着数据时代的到来,大数据量的即时查询技术成为研究的焦点和热点之一。虽然HBase凭借其分布式、列存储等诸多优点,目前在业界广泛使用,但由于其键值对存储的特性,不支持二级索引以及Join、Group by等数据操作,使得其在大数据量的结构... 随着数据时代的到来,大数据量的即时查询技术成为研究的焦点和热点之一。虽然HBase凭借其分布式、列存储等诸多优点,目前在业界广泛使用,但由于其键值对存储的特性,不支持二级索引以及Join、Group by等数据操作,使得其在大数据量的结构化数据即时查询上存在局限性。而Hive作为分布式的关系型数据仓库,支持结构化数据的SQL查询,但它依赖底层的Map Reduce计算框架,数据存取时的磁盘I/O时间消耗很大,数据量在GB级别时查询速度受限。针对以上问题,提出一个基于关系型数据库的HBase解决方案,以增加与提高HBase上结构化查询的能力。 展开更多
关键词 大数据 hbase RDBMS 混合数据库 Hive
在线阅读 下载PDF
高速铁路道岔异构数据在Hbase上的云存储方案 被引量:1
19
作者 张志哲 徐田华 李波 《铁路计算机应用》 2019年第1期9-14,共6页
实现健康预测管理(PHM)可以提高信号设备的运行安全性、系统可靠性和可维修性,道岔设备的数据对其PHM的研究有重要意义。目前,高速铁路道岔监测数据存储架构难以满足PHM海量异构历史数据存储问题,结合道岔监控数据以及道岔缺口监测图像... 实现健康预测管理(PHM)可以提高信号设备的运行安全性、系统可靠性和可维修性,道岔设备的数据对其PHM的研究有重要意义。目前,高速铁路道岔监测数据存储架构难以满足PHM海量异构历史数据存储问题,结合道岔监控数据以及道岔缺口监测图像等异构数据,引入大数据技术中的Hbase非结构化数据存储理念,提出高速铁路道岔设备海量异构数据的云存储及查询管理方案。针对图像数据尺寸不一致的问题,提出基于MapReduce的优化图像分块存储算法,实现高速铁路道岔异构数据的Hbase云存储,在实验室环境搭建平台对方案进行验证。结果表明:从MySQL到Hbase迁移10 GB历史数据约为15min,在数量到达20万条以上时Hbase查询性能优于MySQL。通过MapReduce优化图像数据分块算法,存储速度得到提升。该方案对高速铁路道岔设备PHM中海量异构数据的存储提供了理论和技术支撑。 展开更多
关键词 高速铁路 道岔异构数据 hbase 云存储 MAPREDUCE 图像分块算法 健康预测管理
在线阅读 下载PDF
一种基于TwemProxy的HBase索引缓存方案 被引量:3
20
作者 瞿龙俊 李星毅 《信息技术》 2017年第10期103-107,117,共6页
随着大数据时代的到来,数据量呈现爆炸式增长,HBase作为一种非关系型数据库为企业级用户提供了具有高可扩展性的系统平台,然而HBase采用类B+树索引设计,不支持非主键索引,在应对基于非主键索引请求时,查询效率较低,难以应用于实时性较... 随着大数据时代的到来,数据量呈现爆炸式增长,HBase作为一种非关系型数据库为企业级用户提供了具有高可扩展性的系统平台,然而HBase采用类B+树索引设计,不支持非主键索引,在应对基于非主键索引请求时,查询效率较低,难以应用于实时性较高的业务需求。文章设计并实现了一种非主健索引的HBase分布式集群优化方案,使用基于Twemproxy的Redis集群作为缓存设计方案,提出基于热度积累的缓存替换算法,降低HBase扫描的资源访问开销,提高索引性能。实验结果表明:改进后的集群设计方案较传统分布式HBase数据库在非主键查询效率上有较明显性能提升,在缓存命中率上提升约20%,并且保持良好的可扩展性。 展开更多
关键词 hbase 非主键索引 REDIS 缓存模型 淘汰算法
在线阅读 下载PDF
上一页 1 2 7 下一页 到第
使用帮助 返回顶部