基于HBase的非关系型数据库损坏数据隔离技术 被引量：1

1

作者 胡楠 乔林 +1 位作者 冉冉 胡畔 《信息技术》 2017年第8期113-116,共4页

随着科学技术的发展,数据化信息呈爆炸式增长,数据信息的处理和储存问题随之产生,因此,数据库系统安全变得至关重要。为增强合法数据的可用性,有效地解决损坏数据隔离问题,文中以HBase为基础,提出了针对非关系型数据库损坏数据隔离技术... 随着科学技术的发展,数据化信息呈爆炸式增长,数据信息的处理和储存问题随之产生,因此,数据库系统安全变得至关重要。为增强合法数据的可用性,有效地解决损坏数据隔离问题,文中以HBase为基础,提出了针对非关系型数据库损坏数据隔离技术模型,由于HBase吞吐量高、延迟低、自身的持久化等优点,依靠两阶段提交协议完成了多行多表之间的同步,同时使用HBase的单独一列实现锁服务,并对分布式系统中的问题进行研究,HBase调用read uncommitted、read committed和repeatable read三种隔离级别以满足不同类型损坏数据隔离技术的要求,并试验证明了该隔离技术具有更高的数据利用率,在事务运行的空间和时间性能负载上有着重要的现实意义和应用价值。 展开更多

关键词 隔离技术 HBASE 非关系型数据库 损坏数据 性能实验

在线阅读 下载PDF 职称材料

非关系型数据库激光点云数据并行存储模型

2

作者 金宇 江平 《激光杂志》 北大核心 2018年第11期138-142,共5页

为了解决大量激光点云数据的存储问题,需要对激光点云数据存储模型进行研究,针对当前存储模型存在的扩展性差、存储效率慢和抗干扰性差的问题。提出一种非关系型数据库激光点云数据并行存储模型,将非关系型数据库中的激光点云数据分为... 为了解决大量激光点云数据的存储问题,需要对激光点云数据存储模型进行研究,针对当前存储模型存在的扩展性差、存储效率慢和抗干扰性差的问题。提出一种非关系型数据库激光点云数据并行存储模型,将非关系型数据库中的激光点云数据分为特征信息丰富的区域和平坦区域,对划分好特征类型的激光点云数据做并行去噪处理,采用中值滤波去噪算法去除激光点云数据特征较少的平坦区域,采用双边滤波方法去除激光点云数据特征丰富的区域。基于马尔可夫决策以各路径的大小为依据,选择出多条激光点云数据的传输路径,将并行处理后的激光点云数据传输到数据库中,完成激光点云数据的并行存储。实验结果表明,所提模型的平均扩展系数可达到4. 95,验证所提模型扩展性好、存储效率快、抗干扰性能强。 展开更多

关键词 非关系型数据库 激光点云数据 并行存储

在线阅读 下载PDF 职称材料

大数据时代背景下《非关系型数据库》课程教学资源库建设探析

3

作者 余姜德 梁本来 冷令 《数字技术与应用》 2023年第10期163-165,共3页

大数据时代,数据库技术发生了深刻变革,除了传统的关系型数据库仍在不断应用外,非关系型数据库也在迅猛崛起,国家对新型数据库人才需求日益迫切。本文在阐述教学资源库建设的必要性基础上,分析了当前《非关系型数据库》课程教学资源库... 大数据时代,数据库技术发生了深刻变革,除了传统的关系型数据库仍在不断应用外,非关系型数据库也在迅猛崛起,国家对新型数据库人才需求日益迫切。本文在阐述教学资源库建设的必要性基础上,分析了当前《非关系型数据库》课程教学资源库建设的现状,提出了以“以主流技术为重点,以实战项目为核心,以互动反馈为补充”的建设方案,并在实践中获得了良好的效果。 展开更多

关键词 教学资源库建设 非关系型数据库 数据库技术 大数据时代 互动反馈 课程教学资源库 项目为核心 建设探析

在线阅读 下载PDF 职称材料

非关系型数据库在广电行业的典型应用

4

作者 王亮 《现代电视技术》 2023年第3期82-87,共6页

随着传统广电行业向新媒体转型进程的进一步加快,以及互联网上的用户量与数据量的迅速增加,广电行业应用系统迫切需要支持高并发访问具备高性能的非关系型数据库。江苏省广播电视总台打造的荔枝云,截至2022年6月,部署了各类生产发布应... 随着传统广电行业向新媒体转型进程的进一步加快,以及互联网上的用户量与数据量的迅速增加,广电行业应用系统迫切需要支持高并发访问具备高性能的非关系型数据库。江苏省广播电视总台打造的荔枝云,截至2022年6月,部署了各类生产发布应用和工具98个,覆盖了媒体生产的全流程全领域。本文结合荔枝云实践,介绍三款在广电行业应用较广的非关系型数据库。 展开更多

关键词 非关系型数据库 慢查询 数据备份

在线阅读 下载PDF 职称材料

基于非关系型数据库的水文大数据存储方法研究 被引量：2

5

作者 余国倩 陶光毅 +2 位作者 封得华 赵天宇 李薇 《水利信息化》 2020年第4期22-26,共5页

针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC... 针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC机数据连接的磁盘存储装置的数据库文件中,根据水文数据的规模,增加磁盘存储装置的数量和容量。研究结果证明,TRIP数据库能够存储多种类型、格式的水文结构化和非结构化数据,可为水文行业存储水文大数据提供新的技术途径。 展开更多

关键词 非关系型数据库 关系型数据库 水文大数据 非结构化数据 大数据存储

在线阅读 下载PDF 职称材料

基于非关系型数据库的水文数据分析方法研究 被引量：1

6

作者 余国倩 陶光毅 +1 位作者 赵天宇 刘冰 《水利信息化》 2021年第2期49-53,共5页

针对水文结构化和非结构化数据中的文字信息分析,以及从分析结果直接调取原始数据进行溯源以验证数据的真实性,提出基于非关系型数据库的水文数据分析方法。将海量水文数据存储在TRIP非关系型数据库,搜索引擎集成在数据库,利用索引、中... 针对水文结构化和非结构化数据中的文字信息分析,以及从分析结果直接调取原始数据进行溯源以验证数据的真实性,提出基于非关系型数据库的水文数据分析方法。将海量水文数据存储在TRIP非关系型数据库,搜索引擎集成在数据库,利用索引、中文自动分词、检索和统计分析功能,对水文数据中的数值、日期、时间、文字内容进行分析。对水文观测项目文字内容的分析,获得水文测站的水文观测项目分布;对长序列、全时段分钟降水数据的分析,获得降水变化特征;对单站单日降水量的分析,获得单站单日降水量的分布,读取数据库中降水自记纸图像文件并进行溯源。研究结果表明:在非关系型数据库存储海量水文结构化和非结构化数据的基础上,能够对海量水文数据进行分析和数据溯源,具有现实的应用价值。 展开更多

关键词 水文数据 非关系型数据库 分钟降水数据 数据分析 数据溯源

在线阅读 下载PDF 职称材料

基于非关系型数据库的大数据分布式存储技术

7

作者 刘志强 《科技创新与应用》 2023年第22期27-30,共4页

该文提出一种基于非关系型数据库(MongoDB)的大数据分布式存储技术,可以满足快速索引、精确查找的需求。该文首先介绍非关系型数据库的数据存储结构,包括BSON文档系统、GridFS大文件存储系统,随后概述分布式存储系统的2种常见存储模式... 该文提出一种基于非关系型数据库(MongoDB)的大数据分布式存储技术,可以满足快速索引、精确查找的需求。该文首先介绍非关系型数据库的数据存储结构,包括BSON文档系统、GridFS大文件存储系统,随后概述分布式存储系统的2种常见存储模式和自动分片技术,并使用自动分片技术对分布式数据库的查询算法进行优化。实验表明,使用自动分片技术能够显著提高数据索引效率,达到设计预期。 展开更多

关键词 非关系型数据库 分布式存储 分布式哈希表 自动分片技术 存储模式

在线阅读 下载PDF 职称材料

基于非关系型数据库构建政府信息资源基础库的研究

8

作者 顾鸣声 《现代信息科技》 2022年第2期157-159,163,共4页

借鉴国内先进城市经验做法,建立完善涵盖数据资源梳理、数据采集清洗、数据库设计和存储、数据分类分级管理、数据使用等五个步骤全流程的数据标准规范体系,充分发挥标准化建设的“统一规范”作用,从根本上解决各部门各系统数据存在的... 借鉴国内先进城市经验做法,建立完善涵盖数据资源梳理、数据采集清洗、数据库设计和存储、数据分类分级管理、数据使用等五个步骤全流程的数据标准规范体系,充分发挥标准化建设的“统一规范”作用,从根本上解决各部门各系统数据存在的不标准、不完整、不一致、重复、错误等数据质量问题。通过对政府数据的研究,建立数据结构模型,探讨数据资源平台建设方向,分析基础数据库和主题数据库建设,开展数据共享交换平台的应用研究。 展开更多

关键词 政府数据 数据标准 大数据 非关系型数据库 数据要素

在线阅读 下载PDF 职称材料

非关系型数据库数据恢复技术研究

9

作者 肖劲科 《数字技术与应用》 2015年第1期52-52,共1页

现阶段,非关系型数据库得到了广泛的关注,主要是由于其具有一系列的优点,在性能与扩展性等方面均十分良好,同时能够支持非结构化的数据存储,它是数据库的重要发展方向,但对于数据库的取证研究仍存在不足,虽然对于关系型数据库研究的成... 现阶段,非关系型数据库得到了广泛的关注,主要是由于其具有一系列的优点,在性能与扩展性等方面均十分良好,同时能够支持非结构化的数据存储,它是数据库的重要发展方向,但对于数据库的取证研究仍存在不足,虽然对于关系型数据库研究的成果较为显著,但对于非关系型数据库的研究在理论与实践等方面仍相对匮乏。本文介绍了数据库与数据库取证的概况,同时分析了关系型数据库与非关系型数据库的数据恢复技术,旨在通过研究,促进数据库取证的研究成果更加完善与丰富。 展开更多

关键词 非关系型数据库 数据库取证 数据恢复技术

在线阅读 下载PDF 职称材料

非关系型与关系型空间数据库对比分析 被引量：1

10

作者 杨先洪 《通讯世界》 2015年第1期221-222,共2页

在Web 2.0这一先进理念不断发展的影响下,人们对于互联网的迫切需求达到了前所未有的高度,为了满足这种要求,涌现出了很多先进的数据管理技术,尤其是非关系型数据库,因其具有很多独特的功能和优势,为互联网技术的应用和发挥开辟了新的... 在Web 2.0这一先进理念不断发展的影响下,人们对于互联网的迫切需求达到了前所未有的高度,为了满足这种要求,涌现出了很多先进的数据管理技术,尤其是非关系型数据库,因其具有很多独特的功能和优势,为互联网技术的应用和发挥开辟了新的道路。因此将非关系型数据库与关系型数据库进行比对,对于非关系型数据库的应用和发展具有很高的实际价值。本文阐述了研究对象以及对比分析指标的选择,进而分析了基于ARc SDE、POSTGIS、MONGODB的管理方式,最后引出了非关系型与关系型空间数据库的对比,为互联网事业的发展奠定坚实的基础。 展开更多

关键词 非关系型空间数据库 关系型空间数据库 对比

在线阅读 下载PDF 职称材料

基于NoSQL数据库的地学大数据高效存储方法 被引量：13

11

作者 张天宇 贺金鑫 +1 位作者 王阳 付友萍 《吉林大学学报（信息科学版）》 CAS 2013年第6期604-608,共5页

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题,提出了一种基于非关系型(NoSQL:Not only SQL)数据库的地学大数据高效存储方法。同时以MongoDB为代表,通过C#语言编写测试程序,与SQL Server在地学大数据的存储、... 为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题,提出了一种基于非关系型(NoSQL:Not only SQL)数据库的地学大数据高效存储方法。同时以MongoDB为代表,通过C#语言编写测试程序,与SQL Server在地学大数据的存储、查询等方面进行了性能对比。结果表明,与传统关系型数据库相比,NoSQL数据库的增、删和查询耗时明显降低,尤其是针对海量的非结构化、半结构化数据,其性能优势更加明显。 展开更多

关键词 大数据 地球科学 非关系型数据库 MongoDB数据库

在线阅读 下载PDF 职称材料

MongoDB数据库中自动分片技术应用研究 被引量：2

12

作者 牛倩 《数字技术与应用》 2016年第6期112-112,共1页

Mongo DB为了提高处理大数据量时的性能,提供了自动分片的技术。Mongo DB的分片是集合级别的,根据基于分区的片键可以将数据集合均匀的分布在各片上。文中在研究Mongo DB特点的基础上,着重分析自动分片技术的应用。对比普通和分片情况下... Mongo DB为了提高处理大数据量时的性能,提供了自动分片的技术。Mongo DB的分片是集合级别的,根据基于分区的片键可以将数据集合均匀的分布在各片上。文中在研究Mongo DB特点的基础上,着重分析自动分片技术的应用。对比普通和分片情况下的Mongo DB性能,提出使用基于分区的Mongo DB自动分片技术可以提高数据量较大时的性能,使Mongo DB更稳定。对比片索引和普通索引的性能,提出对于使用非常频繁的查询或写操作,应使用基于片键的索引,可以大幅度提高Mongo DB的性能。 展开更多

关键词 Mongo DB 自动分片 性能测试 非关系型数据库

在线阅读 下载PDF 职称材料

面向核应急多源异构数据的数据库模块设计研究 被引量：13

13

作者 裴秋艳 汪进 +3 位作者 陈春花 郑晓磊 何桃 吴宜灿 《核科学与工程》 CAS CSCD 北大核心 2020年第3期413-418,共6页

随着大数据和信息化技术的快速发展,大量多源异构数据支持核应急决策成为可能,合理的核应急数据库设计直接影响核应急决策系统数据访问的效率。本文设计了一种关系型与非关系型耦合数据库(G-R-M),在开源分布式关系数据库Greenplum的基... 随着大数据和信息化技术的快速发展,大量多源异构数据支持核应急决策成为可能,合理的核应急数据库设计直接影响核应急决策系统数据访问的效率。本文设计了一种关系型与非关系型耦合数据库(G-R-M),在开源分布式关系数据库Greenplum的基础上整合非关系型数据库Redis、MongoDB,对核应急信息进行优化管理,解决了数据事务性和高效存取的矛盾。以核事故状态下应急防护措施选用分析为案例,应用本文设计的G-R-M数据库开展了传统关系型数据库与改进后数据库在数据查询性能方面的对比测试。结果表明,G-R-M数据库较大程度提升了核事故早期信息的查询调用效率,可为核事故应急决策提供快速数据支持。 展开更多

关键词 核应急 多源异构数据 信息管理 非关系型数据库

在线阅读 下载PDF 职称材料

青岛台融媒体平台数据库系统的构建及应用实践

14

作者 张耀东 胡新梅 章婷 《现代电视技术》 2018年第9期116-119,共4页

随着广电行业的全面转型和升级,新一代融媒体平台中,数据结构更加复杂,数据资料的形式也越来越丰富,数据容量也呈爆发性增长。为适应各种不同的元数据类型,提供高效访问和性能伸缩,青岛台在融媒体平台建设中混合使用了MongoDB、MySQL、R... 随着广电行业的全面转型和升级,新一代融媒体平台中,数据结构更加复杂,数据资料的形式也越来越丰富,数据容量也呈爆发性增长。为适应各种不同的元数据类型,提供高效访问和性能伸缩,青岛台在融媒体平台建设中混合使用了MongoDB、MySQL、Redis等多种数据库技术,在数据层面有效保障基于媒体存储、生产、发布一体化的弹性扩张和业务无限拓展。 展开更多

关键词 关系型数据库 非关系型数据库 高可用性

在线阅读 下载PDF 职称材料

基于区块链的非结构化大数据动态安全存储 被引量：5

15

作者 段平 《吉林大学学报（信息科学版）》 CAS 2020年第5期595-600,共6页

当前大数据交互的不透明性以及数据文件访问形式的不合理性,导致大数据存储存在存储延时长、安全性较差的问题,为此提出基于区块链的非结构化大数据动态安全存储技术。构建多用户规则调度模型,利用存储数据包生成独立的行向量与n阶矩阵... 当前大数据交互的不透明性以及数据文件访问形式的不合理性,导致大数据存储存在存储延时长、安全性较差的问题,为此提出基于区块链的非结构化大数据动态安全存储技术。构建多用户规则调度模型,利用存储数据包生成独立的行向量与n阶矩阵,基于列不满秩概率完成存储算法设计;采用区块链非对称加密技术的公私钥,实现透明与完整的数据交互,对次要信息与数据访问形式实施记录。引入分布式文件系统,将其与Mongo DB非关系型数据库有效结合,从而使非结构化大数据得到安全存储。仿真实验结果表明,该方法不仅具有理想的存储速率,而且使大数据的完整性得到了保证,具有理想的有效性与实践性。 展开更多

关键词 区块链 非结构化大数据 动态安全存储 分布式文件系统 非关系型数据库

在线阅读 下载PDF 职称材料

云平台下的NoSQL分布式大数据存储技术与应用 被引量：20

16

作者 吴燕波 薛琴 +1 位作者 向大为 麦永浩 《现代电子技术》 北大核心 2016年第9期44-47,52,共5页

随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。... 随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和No SQL的Mongo DB数据库技术设计非结构化数据云存储架构,证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题,提升非结构化数据存储服务质量。 展开更多

关键词 Hadoop云存储平台 MongoDB数据库 非关系型数据库 云存储

在线阅读 下载PDF 职称材料

“NoSQL”数据管理技术在档案大数据中的应用探析 被引量：2

17

作者 孙安 《管理工程师》 2022年第3期34-40,共7页

大数据时代海量数据的长久保存与高效利用成为人们关注的焦点。非关系型数据库(NoSQL)作为关系型数据库的一种补充,越来越受到青睐,并影响着未来档案大数据管理技术的发展方向。首先通过Laney的大数据3V视角论述NoSQL技术的原理与特征;... 大数据时代海量数据的长久保存与高效利用成为人们关注的焦点。非关系型数据库(NoSQL)作为关系型数据库的一种补充,越来越受到青睐,并影响着未来档案大数据管理技术的发展方向。首先通过Laney的大数据3V视角论述NoSQL技术的原理与特征;然后在大数据视域下分析NoSQL技术在档案知识服务、档案记忆、智慧档案馆中的应用前景;最后展望未来档案信息化建设中数据库管理技术的发展格局,引导我国档案数字化、信息化工作发展方向。研究结论表明:NoSQL技术符合大数据管理的3V要求,能够较好地解决大数据应用中的高并发、快速响应、海量数据长久保存问题,能够满足未来档案大数据应用需要;未来NoSQL和SQL将长期并存于档案数据管理。 展开更多

关键词 非关系型数据库 大数据管理 知识服务 档案记忆 智慧档案馆

在线阅读 下载PDF 职称材料

异构混合存储的软硬件协同数据放置策略 被引量：5

18

作者 李鸿飞 杜溢墨 +1 位作者 曾熠 王磊 《国防科技大学学报》 EI CAS CSCD 北大核心 2020年第2期64-71,共8页

分析比较当前大数据中心典型混合存储架构,针对其不能综合运用存储管理系统和存储设备优势的问题,提出软硬件协同的数据放置策略,同时考虑软件层混合存储管理系统和硬件层混合存储设备的特点,根据应用特性为数据选择合适的存储管理系统... 分析比较当前大数据中心典型混合存储架构,针对其不能综合运用存储管理系统和存储设备优势的问题,提出软硬件协同的数据放置策略,同时考虑软件层混合存储管理系统和硬件层混合存储设备的特点,根据应用特性为数据选择合适的存储管理系统和设备。面向不同应用场景,提出运行前规划存储路径的静态放置模式和运行中规划存储路径的动态放置模式。基于存储管理系统和设备性能参数建模,采用仿真方法实现各数据放置策略,并运行实际应用中的三类负载进行实验测试,结果表明采用软硬件协同的数据放置策略相比只考虑存储管理系统和存储设备的数据放置策略,性能可以提高近30%。 展开更多

关键词 大数据 混合存储 非关系型数据库 数据放置

在线阅读 下载PDF 职称材料

采用多叉树模型数据迁移算法的设计与实现 被引量：3

19

作者 宋春红 王佳斌 郑力新 《华侨大学学报（自然科学版）》 CAS 北大核心 2018年第6期932-936,共5页

针对目前传统关系型数据库中的历史数据向非关系型数据库迁移的低效率问题,提出利用多叉树模型对历史数据存储模式进行重构.基于4种模式迁移规则对各表节点之间的关联关系进行分析,推导算法完成传统关系型数据库中存储模式和历史数据的... 针对目前传统关系型数据库中的历史数据向非关系型数据库迁移的低效率问题,提出利用多叉树模型对历史数据存储模式进行重构.基于4种模式迁移规则对各表节点之间的关联关系进行分析,推导算法完成传统关系型数据库中存储模式和历史数据的自动化迁移.该算法不受源数据库存储模式的限制,具有一定的通用性.数据迁移实验表明:在查询性能上,基于多叉树的迁移算法比官方迁移工具Sqoop有较大的提高. 展开更多

关键词 关系型数据库 非关系型数据库 数据迁移 多叉树模型 Sqoop

在线阅读 下载PDF 职称材料

以混合存储模型实现云计算平台对电信海量数据的处理 被引量：4

20

作者 马俊涛 黄如生 《移动通信》 2011年第7期76-79,共4页

利用云计算平台获取海量存储空间和弹性计算能力是当前学术界研究的重点和产业界应用的方向。文章提出的海量数据分布式处理模型,基于混合型数据存储,实现一种以数据为中心的、计算密集型的、高经济性云计算平台。实践证明,在海量数据... 利用云计算平台获取海量存储空间和弹性计算能力是当前学术界研究的重点和产业界应用的方向。文章提出的海量数据分布式处理模型,基于混合型数据存储,实现一种以数据为中心的、计算密集型的、高经济性云计算平台。实践证明,在海量数据处理方面,该模型可以很好发挥关系数据库和非关系数据库的优点,具有良好的参考示范价值。 展开更多

关键词 分布式计算 非关系型数据库 海量数据处理 云计算

在线阅读 下载PDF 职称材料