基于Hadoop的海量数据存储平台设计与开发 被引量：145

1

作者 崔杰 李陶深 兰红星 《计算机研究与发展》 EI CSCD 北大核心 2012年第S1期12-18,共7页

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储... 随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性. 展开更多

关键词 海量数据存储 海洋科学数据 HADOOP 分布式计算

在线阅读 下载PDF 职称材料

基于虚拟仪器技术的海量数据存储记录仪 被引量：7

2

作者 王娅仙 周传德 秦树人 《重庆大学学报（自然科学版）》 EI CAS CSCD 北大核心 2004年第10期21-24,共4页

记录仪是重要的二次仪表,用于工业自动化监控系统,也可以用于高速现场采集为后续分析准备数据。虚拟式海量数据存储记录仪是在克服传统记录仪缺点的基础上,结合虚拟仪器技术,开发出来的一种新型的记录仪。作者对系统原理、硬件结构及软... 记录仪是重要的二次仪表,用于工业自动化监控系统,也可以用于高速现场采集为后续分析准备数据。虚拟式海量数据存储记录仪是在克服传统记录仪缺点的基础上,结合虚拟仪器技术,开发出来的一种新型的记录仪。作者对系统原理、硬件结构及软件设计进行了详细的论述,并给出了一个应用实例。该仪器具有成本低,易携带,操作方便的优点,满足了大多数行业对记录仪的需要。 展开更多

关键词 虚拟仪器 记录仪 海量数据存储 软件设计

在线阅读 下载PDF 职称材料

基于云计算的图书馆海量数据存储研究 被引量：62

3

作者 杜海宁 《图书与情报》 CSSCI 北大核心 2010年第3期99-101,共3页

云计算是一种新型的基于互联网的商业计算模型,是多种技术混合演进的结果,具有安全可靠、海量信息存储、快速方便等特点。图书馆利用云计算的分布式数据存储技术和与之相关的虚拟技术实现对海量数据的存储,能降低存储和维护成本,具有所... 云计算是一种新型的基于互联网的商业计算模型,是多种技术混合演进的结果,具有安全可靠、海量信息存储、快速方便等特点。图书馆利用云计算的分布式数据存储技术和与之相关的虚拟技术实现对海量数据的存储,能降低存储和维护成本,具有所存数据安全可靠,轻松实现不同设备间的数据共享等特点。 展开更多

关键词 云计算 图书馆 海量数据存储 存储技术 虚拟技术

在线阅读 下载PDF 职称材料

基于一致性哈希算法的分布式机电系统海量数据存储策略研究 被引量：3

4

作者 刘沛津 王柳月 +2 位作者 孙昱 史洁琳 晏东阳 《机床与液压》 北大核心 2023年第22期31-38,共8页

针对分布式机电系统远程全寿命周期运行监测庞大的海量数据分布式存储与管理的负载不均衡问题,提出一种基于权值比例分配各主机节点数量的分布式存储策略。分析分布式机电系统远程监测平台的数据流结构及其数据特征,建立基于一致性哈希... 针对分布式机电系统远程全寿命周期运行监测庞大的海量数据分布式存储与管理的负载不均衡问题,提出一种基于权值比例分配各主机节点数量的分布式存储策略。分析分布式机电系统远程监测平台的数据流结构及其数据特征,建立基于一致性哈希算法的机电液数据的哈希环信息映射,同时引入虚拟节点解决哈希偏移问题。考虑各主机性能差异,基于权值分配虚拟节点,实现负载的自适应,并建立了虚拟节点的动态分配机制。试验结果表明:该存储策略具有良好的负载均衡性,较平均分配各主机节点数量的一致性哈希动态分配存储策略效果更好,能有效减少动态分配次数,使系统快速进入正常运行状态,实现数据的高效存储。 展开更多

关键词 分布式机电系统 一致性哈希算法 海量数据存储策略 虚拟节点 权值动态分配 负载均衡

在线阅读 下载PDF 职称材料

海量结构化数据存储检索系统 被引量：31

5

作者 吴广君 王树鹏 +1 位作者 陈明 李超 《计算机研究与发展》 EI CSCD 北大核心 2012年第S1期1-5,共5页

Big Data是近年在云计算领域中出现的一种新型数据,传统关系型数据库系统在数据存储规模、检索效率等方面不再适用.目前的分布式No-SQL数据库可以提供分布式数据存储环境,但是无法支持多列查询.设计并实现分布式海量结构化数据存储检索... Big Data是近年在云计算领域中出现的一种新型数据,传统关系型数据库系统在数据存储规模、检索效率等方面不再适用.目前的分布式No-SQL数据库可以提供分布式数据存储环境,但是无法支持多列查询.设计并实现分布式海量结构化数据存储检索系统(MDSS).系统采用列存储结构,采用集中分布式B+Tree索引和局部索引相结合的方法提高检索效率.在此基础上讨论复杂查询条件的任务分解机制,支持大数据的多属性检索、模糊检索以及统计分析等查询功能.实验结果表明,提出的分布式结构化数据管理技术和查询任务分解机制可以显著提高分布式条件下大数据集的查询效率,适合应用在日志类数据、流记录数据等海量结构化数据的存储应用场合. 展开更多

关键词 大数据 HADOOP 数据检索 No-SQL数据库 海量数据存储

在线阅读 下载PDF 职称材料

面向海量非结构化数据的非关系型存储管理机制 被引量：8

6

作者 刘超 胡成玉 +2 位作者 姚宏 梁庆中 颜雪松 《计算机应用》 CSCD 北大核心 2016年第3期670-674,共5页

针对传统的关系数据存储系统性能不足、容错性差,无法适应海量非结构化数据管理的问题,提出一种高性能、高可用非关系型存储管理机制。首先,设计了良好的用户访问服务接口,通过高效的一致性哈希算法支持数据分发到多个存储节点;其次,采... 针对传统的关系数据存储系统性能不足、容错性差,无法适应海量非结构化数据管理的问题,提出一种高性能、高可用非关系型存储管理机制。首先,设计了良好的用户访问服务接口,通过高效的一致性哈希算法支持数据分发到多个存储节点;其次,采用可配置的数据副本机制改善存储系统的可用性;最后,提出查询故障处理机制,用以提升存储系统的容错性,避免节点失效导致服务中断问题。实验结果表明,在不同规模用户负载下,新的存储系统的并发访问请求能力和传统的文件系统、关系数据库相比,分别提升了30%和50%;同时,在合理响应时间内,故障状态下的存储系统的可用性损失小于14%。因此,该机制适用于海量非结构化数据的高效存储管理。 展开更多

关键词 非结构化数据 海量数据存储 非关系型存储管理 一致性哈希 故障处理

在线阅读 下载PDF 职称材料

基于Lustre文件系统的海量暂存COMTRADE数据分布存储模式 被引量：2

7

作者 陈永艳 束洪春 +3 位作者 董俊 曹璞璘 戴伟 卫守林 《电力系统自动化》 EI CSCD 北大核心 2015年第18期75-80,共6页

研究了一种基于Lustre分布式并行文件系统的高性能I/O流式数据存储模式,能够满足当前行波暂态采集装置海量暂态数据的高速并发读写访问的需求。通过采用多客户端工作模式,并且将多个暂态数据文件聚合成大文件,可以进一步提高访问带宽和... 研究了一种基于Lustre分布式并行文件系统的高性能I/O流式数据存储模式,能够满足当前行波暂态采集装置海量暂态数据的高速并发读写访问的需求。通过采用多客户端工作模式,并且将多个暂态数据文件聚合成大文件,可以进一步提高访问带宽和使用效率。实验数据表明该模式具有较高的I/O性能,能够满足目前和未来海量电力数据的高速存储管理需求。 展开更多

关键词 海量数据存储 LUSTRE文件系统 聚合COMTRADE数据

在线阅读 下载PDF 职称材料

用USB接口技术解决海量数据采集与存储的方法

8

作者 孙兵 宋运康 《湛江海洋大学学报》 CAS 2003年第4期46-51,共6页

介绍了USB接口技术的组成和特征 ,利用USB接口技术 ,设计了海量数据采集系统 ,可实现较传统方式更为经济、有效的高性能海量数据采集和存储系统。该系统在工程上有广泛应用价值。

关键词 通用串行总线 海量数据采集 USB 硬盘管理 海量数据存储

在线阅读 下载PDF 职称材料

遥感图像海量存储系统的设计与分析 被引量：1

9

作者 邓雪清 罗睿 李学友 《遥感信息》 CSCD 2002年第4期5-9,共5页

海量数据存储系统是遥感图像信息系统的关键组成部分之一。存储系统的研究包括硬件体系结构和关于存储调度的软件算法两个重要的方面 ,其中系统的设计和评价是其研究的核心内容。本文在有关研究的基础上 ,主要从系统体系结构以及抽象的... 海量数据存储系统是遥感图像信息系统的关键组成部分之一。存储系统的研究包括硬件体系结构和关于存储调度的软件算法两个重要的方面 ,其中系统的设计和评价是其研究的核心内容。本文在有关研究的基础上 ,主要从系统体系结构以及抽象的系统描述角度 ,研究和探讨了海量存储系统设计与分析中的基本技术问题。指出了视频数据存储系统和图像数据存储系统之间在要求上的差异 ,并提出了海量数据存储系统的抽象代数模型与相应的评价指标 。 展开更多

关键词 遥感图像信息系统 海量数据存储系统 并行数 拒绝率 图像数据

在线阅读 下载PDF 职称材料

键值数据库中弱一致性数据存储优化技术 被引量：4

10

作者 张伟 贺泽宇 王宇璐 《科学技术与工程》 北大核心 2018年第28期224-228,共5页

当前数据库中弱一致性数据维护方法存在读写性能低、集群性能差的问题。为此,提出一种键值数据库中弱一致性数据改进方法。采用数学归纳法建立Hash值空间的上下限,利用哈希函数对数据库中的冗余数据进行优化;在此基础之上,通过建立未知... 当前数据库中弱一致性数据维护方法存在读写性能低、集群性能差的问题。为此,提出一种键值数据库中弱一致性数据改进方法。采用数学归纳法建立Hash值空间的上下限,利用哈希函数对数据库中的冗余数据进行优化;在此基础之上,通过建立未知弱数据和己知弱数据之间的回归预测模型,同时利用BP网络算法对数据迁移中的缺失数据进行采集,以保证数据的一致性。实验结果显示,与传统方法相比,其读写性能更好;且对数据块越大,吞吐量越提升。 展开更多

关键词 大数据 键值数据库 海量数据存储 数据一致性 哈希函数

在线阅读 下载PDF 职称材料

基于Hadoop架构的高校科研数据存储系统设计 被引量：6

11

作者 谢翌 《现代电子技术》 2021年第11期182-186,共5页

传统系统针对海量数据存储问题通过配置大量服务器提高存储与计算能力,但存在硬件成本较高的缺点。为此,设计基于Hadoop架构的高校科研数据存储系统。利用分析Hadoop等云计算核心技术,设计Hadoop架构的数据存储模型。之后,设计高校科研... 传统系统针对海量数据存储问题通过配置大量服务器提高存储与计算能力,但存在硬件成本较高的缺点。为此,设计基于Hadoop架构的高校科研数据存储系统。利用分析Hadoop等云计算核心技术,设计Hadoop架构的数据存储模型。之后,设计高校科研数据存储系统的结构,根据Hadoop技术的特点提高数据处理的效率。详细设计数据存储系统,主要包括文件系统模块、文件块存储策略、资源网架构、读写数据体系与数据库数据访问层等模块。最后,对设计的高校科研数据存储系统进行验证。通过实验可知,此系统能够使校园办公、科研与教学中的海量数据存储管理问题得到解决,开发成本比较低,运行比较稳定,便于扩展。 展开更多

关键词 Hadoop架构 科研数据 数据存储系统 海量数据存储 文件系统 资源网

在线阅读 下载PDF 职称材料

科学家研制新型超密磁带可存储35TB数据

12

《广西科学》 CAS 2012年第4期305-305,共1页

从10亿Facebook用户的更新信息到世界各地医疗机构共享的图片再到高清晰视频流的兴起，人们对海量数据存储的需求不断增长。一直以来，硬盘都充当“驮马”的角色，“背负”大量数据。现在，日本富士胶片公司和瑞士苏黎世的研究人员研发... 从10亿Facebook用户的更新信息到世界各地医疗机构共享的图片再到高清晰视频流的兴起，人们对海量数据存储的需求不断增长。一直以来，硬盘都充当“驮马”的角色，“背负”大量数据。现在，日本富士胶片公司和瑞士苏黎世的研究人员研发出一种新型超密磁带，被称之为“线性磁带文件系统”。 展开更多

关键词 海量数据存储 磁带 超密 科学家 富士胶片公司 医疗机构 更新信息 研究人员

在线阅读 下载PDF 职称材料

面向大数据分析的分布式文件系统关键技术 被引量：77

13

作者 周江 王伟平 +3 位作者 孟丹 马灿 古晓艳 蒋杰 《计算机研究与发展》 EI CSCD 北大核心 2014年第2期382-394,共13页

大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段．信息规模的扩大和数据结构的多样化，使海量数据存储成为大数据分析研究的热点．传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满... 大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段．信息规模的扩大和数据结构的多样化，使海量数据存储成为大数据分析研究的热点．传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求．设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover．该系统采用基于目录划分和一致性Hash映射的名字空间管理方法，解决了元数据扩展性问题；通过改进的两阶段提交协议，保证了多元数据服务器下分布式元数据操作的一致性；提出了基于共享存储池的高可用机制，通过热备和全局状态恢复机制提高了元数据的可靠性．评测结果表明，Clover的元数据处理能力随服务器的数量线性增长，增加单个服务器的元数据操作性能平均提升了5．13％～159．32％．由于名字空间管理和分布式事务的开销，多元数据服务器会导致复杂操作的性能下降，但是这种下降的幅度很小（小于10％）．与HDFS相比，Clover的文件读写带宽与之接近，并能够保证在元数据服务器失效后文件系统快速恢复，适合于构建高可扩展和高可用的存储系统． 展开更多

关键词 大数据 海量数据存储 分布式文件系统 元数据可扩展性 高可用性

在线阅读 下载PDF 职称材料

基于物联网环境的云存储及安全技术研究 被引量：11

14

作者 杨继慧 周奇年 张振浩 《中兴通讯技术》 2012年第6期12-16,共5页

文章基于云存储的架构模型和云存储的关键技术,从可用性、可靠性和数据共享3个方面分析了云存储与物联网的结合的可行性,探讨了云存储在物联网环境下所面临的安全问题及相应的解决办法和物联网环境下的云存储平台结构模型,并对云存储在... 文章基于云存储的架构模型和云存储的关键技术,从可用性、可靠性和数据共享3个方面分析了云存储与物联网的结合的可行性,探讨了云存储在物联网环境下所面临的安全问题及相应的解决办法和物联网环境下的云存储平台结构模型,并对云存储在物联网中的未来发展趋势进行了展望。 展开更多

关键词 云存储 海量数据存储 物联网 存储安全

在线阅读 下载PDF 职称材料

现代MRO系统的可扩展数据管理策略研究 被引量：1

15

作者 汤小春 周佳文 《西北工业大学学报》 EI CAS CSCD 北大核心 2018年第6期1139-1144,共6页

现代MRO系统是对产品全生命周期中各种不同类型数据进行统一管理和存储的数据管理平台,既要具有海量存储的能力,亦需要具有可扩展性。而现存的MRO系统,要么只关注存储问题,要么只解决可扩展性问题。提出了一种二层数据管理模型,上层利... 现代MRO系统是对产品全生命周期中各种不同类型数据进行统一管理和存储的数据管理平台,既要具有海量存储的能力,亦需要具有可扩展性。而现存的MRO系统,要么只关注存储问题,要么只解决可扩展性问题。提出了一种二层数据管理模型,上层利用内存存储解决可扩展性,下层使用分布式键值存储(KV存储)达到海量存储的目的。通过在应用程序和KV存储系统之间添加键分组的中间层,使得实时处理所需要的键被组合起来缓存在一个节点上,既满足了实时应用的特性,又提高了动态可扩展性。首先给出了实时处理键组的数据模型,其次介绍实时处理键组的创建和删除协议,最后提出了支持实时处理键组的海量数据存储系统结构并对系统进行了评价,取得良好的效果。 展开更多

关键词 现代MRO系统 实时处理键组 海量数据存储 分布式计算

在线阅读 下载PDF 职称材料

EP^＊：一种新型的可扩展分布式数据结构

16

作者 沈亢伟 王于同 《计算机工程》 CAS CSCD 北大核心 2007年第19期88-90,95,共4页

介绍了一种新型的可扩展分布式数据结构——EP。EP文件可以随着记录的插入而逐渐扩展到多台服务器上,它的结构比较简单,能够同时支持单记录操作和范围查询操作。实验结果显示,与现有的EH结构相比,EP结构不但增加了范围查询功能,而且在... 介绍了一种新型的可扩展分布式数据结构——EP。EP文件可以随着记录的插入而逐渐扩展到多台服务器上,它的结构比较简单,能够同时支持单记录操作和范围查询操作。实验结果显示,与现有的EH结构相比,EP结构不但增加了范围查询功能,而且在文件增长过程中,其填充因子和单记录操作的消息消耗数的变化都更加稳定,而平均填充因子和单记录操作的平均消息消耗数则与EH结构很接近。 展开更多

关键词 可扩展性 分布式 数据结构 海量数据存储

在线阅读 下载PDF 职称材料

新型高密度存储材料与器件项目启动

17

《现代化工》 CAS CSCD 北大核心 2017年第11期186-186,共1页

日前从中科院获悉,10月17日,国家重点研发计划＂战略性先进电子材料＂重点专项＂新型高密度存储材料与器件＂项目启动会在中国科学院微电子研究所召开。＂新型高密度存储材料与器件＂面向大数据时代对海量数据存储和处理的需求,研究相... 日前从中科院获悉,10月17日,国家重点研发计划＂战略性先进电子材料＂重点专项＂新型高密度存储材料与器件＂项目启动会在中国科学院微电子研究所召开。＂新型高密度存储材料与器件＂面向大数据时代对海量数据存储和处理的需求,研究相变、阻变、 展开更多

关键词 存储材料 高密度 器件 海量数据存储 电子研究所 中国科学院 电子材料 中科院

在线阅读 下载PDF 职称材料

履带拖曳式陆用地震勘探数据采集系统 被引量：5

18

作者 张平安 周严 《电子测量技术》 2014年第5期116-120,共5页

基于履带拖曳地震勘探的设计理念,研制了新型陆地拖曳地震数据采集系统。介绍了采集系统构成及工作原理,设计了采集系统的采集、控制、存储及以太网传输电路,在此基础上设计了控制软件,最后研究了采集信号的数字滤波处理。测试表明,所... 基于履带拖曳地震勘探的设计理念,研制了新型陆地拖曳地震数据采集系统。介绍了采集系统构成及工作原理,设计了采集系统的采集、控制、存储及以太网传输电路,在此基础上设计了控制软件,最后研究了采集信号的数字滤波处理。测试表明,所设计系统可以实现地震数据采集、大容量实时数据存储和传输,增设数字滤波处理环节后,采集系统可用于强干扰环境下的地震数据采集。 展开更多

关键词 地震数据采集 组合检波 海量数据实时存储 以太网数据传输

在线阅读 下载PDF 职称材料

DCI体系下数字版权管理服务平台的设计 被引量：4

19

作者 吴洁明 周倩 许传祥 《计算机应用与软件》 CSCD 北大核心 2014年第4期62-65,共4页

数字版权唯一标识符DCI(Digital Copyright Identifier)体系是为解决数字出版行业版权管理和版权运营而提出的数字版权服务新模式。数字版权管理服务平台是DCI体系的重要组成部分。阐述一个DCI体系下的数字版权管理服务平台的设计,并着... 数字版权唯一标识符DCI(Digital Copyright Identifier)体系是为解决数字出版行业版权管理和版权运营而提出的数字版权服务新模式。数字版权管理服务平台是DCI体系的重要组成部分。阐述一个DCI体系下的数字版权管理服务平台的设计,并着重介绍系统实现中的一些主要技术问题的处理,如DCI码结构设计和海量数据存储。 展开更多

关键词 DCI 数字版权行业 版权服务新模式 数字版权管理服务平台 海量数据存储

在线阅读 下载PDF 职称材料

虚拟式流体参量集成测试系统及其实现 被引量：2

20

作者 季忠 陈青 +1 位作者 秦树人 温海松 《振动．测试与诊断》 EI CSCD 北大核心 2009年第4期410-413,共4页

为了实现对流体参量的自动测量,运用虚拟仪器设计思想,采用组件技术、海量数据存储技术及仪器通用化设计方法,设计并实现了虚拟式流体参量集成测试系统。该系统能同时对流体的温度、压力和流量等进行动态测试。实验室演示表明,该集成测... 为了实现对流体参量的自动测量,运用虚拟仪器设计思想,采用组件技术、海量数据存储技术及仪器通用化设计方法,设计并实现了虚拟式流体参量集成测试系统。该系统能同时对流体的温度、压力和流量等进行动态测试。实验室演示表明,该集成测试系统性能稳定,操作简单,功能较强大。 展开更多

关键词 虚拟仪器 流体参量 集成测试 组件技术 海量数据存储 通用化设计

在线阅读 下载PDF 职称材料