基于HBase数据库的数据分布式存储方法 被引量：4

1

作者 曹丽蓉 《兰州工业学院学报》 2022年第5期46-50,共5页

针对互联网数据种类繁杂、数量过多且占用内存较大等问题,提出基于HBase数据库的数据分布式存储方法。鉴于HBase稀疏行/列矩阵存储的特点,从逻辑模型和物理模型两方面展开分析;利用OGC简单要素模型建立空间数据模型,将几何对象转换为字... 针对互联网数据种类繁杂、数量过多且占用内存较大等问题,提出基于HBase数据库的数据分布式存储方法。鉴于HBase稀疏行/列矩阵存储的特点,从逻辑模型和物理模型两方面展开分析;利用OGC简单要素模型建立空间数据模型,将几何对象转换为字节对象,提高用户读写效率;利用网格空间索引作为索引机制,通过分析每个网格的索引ID值得到属性信息和拓扑关系,便于用户查询;数据存储模型由网格金字塔模型完成构建,根据数据的多尺度层级结构特征,划分为不同的层级,每个层级都有其各自的数据图层表结构和字典表结构,用户可快速找到所需的数据。结果表明:所提方法可生成合适的节点数量,取得理想的读写效率和存储效率。 展开更多

关键词 HBase数据库 数据分布式存储 空间数据模型 网格金字塔模型 图层表结构

在线阅读 下载PDF 职称材料

海量机载激光点云数据分布式分片存储方法研究 被引量：1

2

作者 姜宇鸣 周益民 《电子器件》 CAS 北大核心 2023年第4期978-983,共6页

机载采集的红外激光云数据,作为重要的遥感大数据,其存储方法决定后期的应用方向。由于海量化机载激光点云数据存储对高效率的要求越来越高,提出了一种海量机载激光点云数据分布式分片存储方法。对激光点云信息特征的加权模糊C均值化,... 机载采集的红外激光云数据,作为重要的遥感大数据,其存储方法决定后期的应用方向。由于海量化机载激光点云数据存储对高效率的要求越来越高,提出了一种海量机载激光点云数据分布式分片存储方法。对激光点云信息特征的加权模糊C均值化,去除激光点云数据的噪声干扰。依据Sharding分片功能,设计云数据库的数据分片算法。设计改进哈希数据分布算法,完成最终的海量机载激光点云数据分布式存储。实验结果表明:所提方法的激光点云数据存储能力更高,效率更好,实际应用效果更好。 展开更多

关键词 海量机载激光点云数据 数据库分片 数据去噪 哈希算法 数据分布式存储

在线阅读 下载PDF 职称材料

无线传感器网络中一种安全高效的分布式数据存储方案 被引量：1

3

作者 范容 平玲娣 +1 位作者 傅建庆 潘雪增 《电信科学》 北大核心 2010年第10期87-92,共6页

在无人值守的无线传感器网络应用中,传感器节点大多被部署在恶劣的环境中,节点间通信困难,而且在某些场景下,用户需要感知数据的摘要信息而不是实时数据,这样感知数据不需要立即发送到中央节点或用户终端,而是长时间保存在传感器节点上... 在无人值守的无线传感器网络应用中,传感器节点大多被部署在恶劣的环境中,节点间通信困难,而且在某些场景下,用户需要感知数据的摘要信息而不是实时数据,这样感知数据不需要立即发送到中央节点或用户终端,而是长时间保存在传感器节点上,如此可避免感知数据的实时传送,降低通信消耗,延长节点生命周期,但该网络通常会面临安全风险,诸如数据失效、节点被俘获而导致的数据丢失或被篡改等。对此,本文提出了一种安全高效的分布式数据存储方案,该方法不仅提高了数据存活率,降低了网络通信消耗,更提高了数据的安全性与可靠性,并能更好地适应多用户场景中感知数据的恢复。 展开更多

关键词 分布式数据存储 数据安全 无人值守无线传感器网络

在线阅读 下载PDF 职称材料

分布式数据存储中的机密性保护

4

作者 韦大伟 《微电子学与计算机》 CSCD 北大核心 2006年第z1期46-48,共3页

结合对称加密技术和门限加密技术,提出了一种适用于分布式数据存储需要的有效的系统机密性保护方案,其中对称加密技术用于对所存储的文件进行加密,分布式门限加密技术则对对称加密方案中所用的密钥进行保护,可在不带来密钥存储问题情况... 结合对称加密技术和门限加密技术,提出了一种适用于分布式数据存储需要的有效的系统机密性保护方案,其中对称加密技术用于对所存储的文件进行加密,分布式门限加密技术则对对称加密方案中所用的密钥进行保护,可在不带来密钥存储问题情况下满足恶意环境中分布式数据存储系统的机密性要求。 展开更多

关键词 分布式数据存储 机密性 对称加密 门限加密

在线阅读 下载PDF 职称材料

基于Mycat的分布式数据存储研究 被引量：3

5

作者 陈宇收 《中国新通信》 2018年第22期63-64,共2页

随着信息化进程的不断推进,各行各业的信息化建设工作均取得了较大突破,也因此建设了众多类型不一的业务系统,并且随着业务系统的长期应用,已经存储了大量的历史业务数据。由于在早期的系统建设时,受限于当时的技术条件及应用场景,针对... 随着信息化进程的不断推进,各行各业的信息化建设工作均取得了较大突破,也因此建设了众多类型不一的业务系统,并且随着业务系统的长期应用,已经存储了大量的历史业务数据。由于在早期的系统建设时,受限于当时的技术条件及应用场景,针对数据存储基本全部使用了关系型数据库,包括Oralce、SQL Server以及MySQL等,虽然在应用初期,单库的关系型数据库系统能够为业务系统的应用提供了高效的支持,然而随着业务数据的累年增多,其缺陷也逐渐暴露出来,包括数据存储达到容量上限、数据存取效率随着数据增多变慢等,所以为了解决单库数据库的应用不足,同时又保留早期关系型数据库的应用特点,就需要对数据的存储方式进行必要的改造,而分布式数据存储方案的出现,正好可以解决这一应用需求,所以基于分布式的数据存储方案研究已经成为当前关系型数据库大数据存储研究的重点。Mycat技术,作为新生代的分布式数据存储中间件,具备开源、稳定、便捷、高效等特点,已经成为分布式数据存储研究的新方案。 展开更多

关键词 Mycat关系型数据库 分布式数据存储

在线阅读 下载PDF 职称材料

分布式大数据存储在融合新闻生产平台中的应用 被引量：2

6

作者 刘助翔 《现代电视技术》 2016年第8期60-64,共5页

本文结合深圳广电的实践,介绍了在融合新闻生产的业务背景下,分布式大数据存储技术、架构和特点,实现了对融合新闻生产平台的有效支撑,对存储系统与融合生产业务的结合进行了展望。

关键词 分布式大数据存储 融合新闻生产平台

在线阅读 下载PDF 职称材料

在数据网格环境中可靠获取分布式数据的方法 被引量：2

7

作者 叶炜 顾宁 《通信学报》 EI CSCD 北大核心 2006年第11期119-124,共6页

为了保证数据密集型网格中的数据的可获取性,采用对数据资源增加存储副本的方法,提出了一种数据密集型网格环境下的大数据分片存储及散发方法,并设计了一种数据自动复制及散发模型。初步实验表明该方法能够以较小的系统代价大幅度提高... 为了保证数据密集型网格中的数据的可获取性,采用对数据资源增加存储副本的方法,提出了一种数据密集型网格环境下的大数据分片存储及散发方法,并设计了一种数据自动复制及散发模型。初步实验表明该方法能够以较小的系统代价大幅度提高数据的可获取性。 展开更多

关键词 分布式数据存储 网格 数据获取

在线阅读 下载PDF 职称材料

大庆油田开发数据库应用及认识 被引量：4

8

作者 盖德林 《油气田地面工程》 北大核心 2003年第5期60-61,共2页

目前,大庆油田公司投入4万口井左右,分布在十个采油厂和两个石油公司,与开发数据库相关矿(大队)级单位140多个.开发数据库现设有212个数据表,包括开发静态、开发动态、井下作业、采油管理、油田监测、油气集输、分析化验、生产管理等8... 目前,大庆油田公司投入4万口井左右,分布在十个采油厂和两个石油公司,与开发数据库相关矿(大队)级单位140多个.开发数据库现设有212个数据表,包括开发静态、开发动态、井下作业、采油管理、油田监测、油气集输、分析化验、生产管理等8个部分.统一采用原大庆石油管理局开发数据库标准结构,采用ORCALE数据库分布式存储. 展开更多

关键词 大庆油田 开发数据库 应用 分布式数据存储 数据一致性

在线阅读 下载PDF 职称材料

面向商品筛选应用的大数据处理优化技术

9

作者 张伟 马利民 智昊 《北京信息科技大学学报（自然科学版）》 2018年第4期1-9,共9页

随着电子商务的飞速发展,商品数量越来越多,商品筛选应用对海量商品信息进行分布式存储和处理时,现有模型需要分布式系统中各个节点全部并行工作,再将每个节点结果整合得到最终结果,其过程会产生很多无效查询。提出一种基于关键列预处... 随着电子商务的飞速发展,商品数量越来越多,商品筛选应用对海量商品信息进行分布式存储和处理时,现有模型需要分布式系统中各个节点全部并行工作,再将每个节点结果整合得到最终结果,其过程会产生很多无效查询。提出一种基于关键列预处理的分布式数据存储与查询技术。该技术通过对表的历史查询进行统计分析,选定高频或核心字段作为关键列,根据关键列和分布式系统节点结构来进行数据存储;当有数据查询请求时,对于含有关键列的查询,可只针对部分节点生成有效查询任务。结果证明,该技术在不带来额外存储开销的情况下,可减少分布式系统中各节点的总工作任务数,有效提高系统吞吐率。 展开更多

关键词 关键列 预处理 海量结构化数据 分布式数据存储

在线阅读 下载PDF 职称材料

面向铁路客运大数据的客流分析研究及应用 被引量：3

10

作者 罗明 《中国铁路》 2020年第4期105-110,共6页

从铁路客运业务产生的海量数据入手,研究如何从客运大数据中深度挖掘客流数据主要指标,提出构建分布式客运数据存储平台的方案,以提升数据的存储速率和分析能力、提高数据库利用率,并验证了分布式数据库无论从硬件还是软件方面,与传统... 从铁路客运业务产生的海量数据入手,研究如何从客运大数据中深度挖掘客流数据主要指标,提出构建分布式客运数据存储平台的方案,以提升数据的存储速率和分析能力、提高数据库利用率,并验证了分布式数据库无论从硬件还是软件方面,与传统数据库相比均具有显著优势。利用该平台建立数据的多维度关联,对中国铁路武汉局集团有限公司和九大方向的客座率、列车密度表等指标进行实时分析,为客流预测提供依据。 展开更多

关键词 铁路客运 大数据 分布式数据存储平台 客流分析 Greenplum Vmware平台

在线阅读 下载PDF 职称材料

基于ZeroMQ的民航空管数据库同步软件设计和应用

11

作者 张翰文 《无线互联科技》 2021年第6期20-21,共2页

文章针对广域网架构下的多数据副本的数据一致性问题,提出了基于ZeroMQ及增量数据抽取的同步方案,研制了同步软件UltraSync。在中国民航流量管理系统的研制与应用中,UltraSync能高效地同步中心节点数据分布在全国的二级分系统,有效解决... 文章针对广域网架构下的多数据副本的数据一致性问题,提出了基于ZeroMQ及增量数据抽取的同步方案,研制了同步软件UltraSync。在中国民航流量管理系统的研制与应用中,UltraSync能高效地同步中心节点数据分布在全国的二级分系统,有效解决了核心数据的分布式存储问题。 展开更多

关键词 数据同步 消息中间件 分布式数据存储

在线阅读 下载PDF 职称材料

专题导读

12

作者 夏俊杰 《邮电设计技术》 2020年第11期I0001-I0001,共1页

区块链以其分布式数据存储、点对点传输、共识机制、加密算法等技术特点,在全球范围内掀起了一股创新浪潮。2016年,国务院发布《“十三五”国家信息化规划》首次将区块链纳入新技术范畴并做前沿布局,标志着我国开始大力推动区块链技术... 区块链以其分布式数据存储、点对点传输、共识机制、加密算法等技术特点,在全球范围内掀起了一股创新浪潮。2016年,国务院发布《“十三五”国家信息化规划》首次将区块链纳入新技术范畴并做前沿布局,标志着我国开始大力推动区块链技术和应用发展。在2019年10月24日中共中央政治局第十八次集体学习会上,习近平总书记指出,区块链技术应用已延伸到数字金融、物联网、智能制造、供应链管理、数字资产交易等多个领域。 展开更多

关键词 区块链技术 分布式数据存储 共识机制 点对点传输 物联网 加密算法 信息化规划 智能制造

在线阅读 下载PDF 职称材料

计算机网络编码技术在无线传感器网络中的应用研究 被引量：1

13

作者 靳皞 《煤炭技术》 CAS 北大核心 2011年第9期214-216,共3页

以无线传感器网络为应用背景,简单介绍了网络编码在节点协同通信、簇内多节点信息交换和分布式数据存储方面的应用,并展望了网络编码在无线传感器网络中未来的研究方向。

关键词 网络编码 无线传感器网络 协同通信 簇内信息交换 分布式数据存储

在线阅读 下载PDF 职称材料

区块链技术在智慧园区中的应用探讨 被引量：1

14

作者 杨云龙 张亮 邢丽云 《邮电设计技术》 2022年第3期48-52,共5页

区块链技术是革命性的,将会改变目前的生产、生活和社会规则,带来各行各业创新应用。通过探索智慧园区的特征及需求,从建设和应用场景方面入手,提出了区块链在智慧园区中的创新应用模式,使区块链智能合约、可追溯、不可篡改的特性在智... 区块链技术是革命性的,将会改变目前的生产、生活和社会规则,带来各行各业创新应用。通过探索智慧园区的特征及需求,从建设和应用场景方面入手,提出了区块链在智慧园区中的创新应用模式,使区块链智能合约、可追溯、不可篡改的特性在智慧园区的公共信息透明化和园区管理高效化方面发挥最大优势。 展开更多

关键词 区块链 智慧园区 联盟链 分布式数据存储 可信共识机制

在线阅读 下载PDF 职称材料

一种互联网环境下的医学图像自适应传输系统实现 被引量：3

15

作者 罗哲明 杨媛媛 《现代电子技术》 北大核心 2020年第8期5-7,11,共4页

为解决医学图像在互联网下传输过程中效率低、存储服务器容量增长过快、耦合性强的问题,文中设计和实现了一种医疗图像自适应传输系统。系统结合P2P传输的设计思路,依据医疗机构接入互联网的防火墙网络地址转化(NAT)类型,使客户端能自... 为解决医学图像在互联网下传输过程中效率低、存储服务器容量增长过快、耦合性强的问题,文中设计和实现了一种医疗图像自适应传输系统。系统结合P2P传输的设计思路,依据医疗机构接入互联网的防火墙网络地址转化(NAT)类型,使客户端能自动选取传输策略对医学图像进行点对点分片传输。将该系统与传统的有中心传输模式的系统进行速度比较,实验结果表明,采用自适应的传输系统对医学图像进行传输,具有更低的耦合性,且能实现数据的分布式存储,传输效率大幅提高。 展开更多

关键词 医学影像传输 自适应传输系统 P2P 互联网防火墙 分布式数据存储 互联网传输

在线阅读 下载PDF 职称材料

云计算技术在集中CRM系统中应用的研究

16

作者 林玺磊 宋齐军 裴培 《邮电设计技术》 2014年第7期6-10,共5页

介绍在电信运营商集中CRM系统建设中采用云计算技术的策略与建议,针对应用层及数据层给出具体的云计算技术应用示例。

关键词 云计算 CRM系统 分布式服务框架 分布式数据存储

在线阅读 下载PDF 职称材料

国外区块链技术融合现状:从基础学科到前沿信息技术 被引量：2

17

作者 穆琳 《中国信息安全》 2021年第3期36-38,共3页

区块链被誉为通向未来的融合技术,集成创新和融合应用将更加充分释放其真正价值。当前,国外区块链技术与基础学科、前沿信息技术的融合发展初露头角,成为科技创新与产业变革的潜在动力,相关情况值得关注。一、区块链融合基础学科为科学... 区块链被誉为通向未来的融合技术,集成创新和融合应用将更加充分释放其真正价值。当前,国外区块链技术与基础学科、前沿信息技术的融合发展初露头角,成为科技创新与产业变革的潜在动力,相关情况值得关注。一、区块链融合基础学科为科学研究和经济发展提供新思路作为新一代底层基础技术,区块链与不同学科领域的交叉主要集中在分布式数据存储、信息追踪溯源等外围应用。近年来,国外研究人员在探索区块链交叉融合自然科学、社会科学相关基础学科方面取得一定进展,以区块链生物学、区块链计算科学、区块链经济学为典型代表。 展开更多

关键词 区块链技术 分布式数据存储 信息技术 追踪溯源 融合技术 产业变革 国外研究人员 融合应用

在线阅读 下载PDF 职称材料

区块链在智能交通领域中的应用研究 被引量：1

18

作者 邱暾 《北方交通》 2020年第10期92-94,共3页

由于区块链具有难以篡改、异构灵活、智能合约自动执行、协作机制透明、安全可靠的特点,在诸多领域得到应用和推广。结合智能交通领域的业务需求和区块链的技术特点,对区块链在交通领域中的应用研究进行了初步探讨。

关键词 区块链 智能交通 分布式数据存储 P2P 共识算法

在线阅读 下载PDF 职称材料

区块链对房地产行业影响几何？ 被引量：1

19

作者 黄俊鹏 《城市开发》 2019年第24期80-82,共3页

区块链技术在近几年得到长足发展,目前也广泛应用于金融业和银行网络安全方面,在保险和医疗保健方面都已有解决方案。区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式,是一种通过去中心化和去信任... 区块链技术在近几年得到长足发展,目前也广泛应用于金融业和银行网络安全方面,在保险和医疗保健方面都已有解决方案。区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式,是一种通过去中心化和去信任的方式集体维护一个可靠数据库的技术方案。也有不少人着手研究区块链技术对房地产的影响,那么,到底会有哪些实质影响呢?本文做简要解析。 展开更多

关键词 区块链技术 分布式数据存储 共识机制 计算机技术 点对点传输 银行网络安全 加密算法 数据库

在线阅读 下载PDF 职称材料

医疗4.0变革进行时

20

作者 唐超(整理) 《中国医院院长》 2022年第7期90-90,共1页

如今,第四次工业革命正在如火如荼地进行。这是一场巨大的社会变革,灵活运用物联网(Io T)、人工智能(AI)、大数据、机器人等新型科学技术,不仅改变了产业发展模式与结构、人们的生活方式和交往方式等。同时,以虚拟现实(VR)、增强现实(AR... 如今,第四次工业革命正在如火如荼地进行。这是一场巨大的社会变革,灵活运用物联网(Io T)、人工智能(AI)、大数据、机器人等新型科学技术,不仅改变了产业发展模式与结构、人们的生活方式和交往方式等。同时,以虚拟现实(VR)、增强现实(AR)、混合现实(MR)、第五代移动通信技术(5G)、区块链(分布式数据存储)、脑机接口(BMI)等为代表的全新技术革命正在悄无声息地进行着。正是在第四次工业革命时代,技术带来了颠覆性变革,当前社会已迎来了一个历史性的转折点。 展开更多

关键词 分布式数据存储 区块链 第四次工业革命 大数据 物联网 产业发展模式 机器人 新技术革命

在线阅读 下载PDF 职称材料