期刊文献+
共找到288篇文章
< 1 2 15 >
每页显示 20 50 100
基于HBase的气象地面分钟数据分布式存储系统 被引量:25
1
作者 陈东辉 曾乐 +1 位作者 梁中军 肖卫青 《计算机应用》 CSCD 北大核心 2014年第9期2617-2621,共5页
针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气... 针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气象分钟数据存储结构模型,实现对海量气象数据的分布式存储和元信息管理。对HBase的唯一索引在面对气象业务的复杂查询用例时响应时间过长的问题,使用搜索引擎solr提供的API接口并参考气象业务中的查询用例对相关字段建立辅助索引,来满足业务检索时效。实验结果表明,该系统具有很好的存储能力和检索效率,入库效率最高可达每秒34000条,并且在常规查询用例的结果返回时效达到毫秒级,能够满足大规模气象数据在业务应用中对存储和查询时效的性能要求。 展开更多
关键词 分钟数据 分布式存储 HADOOP SOLR hbase 辅助索引
在线阅读 下载PDF
地震数据分布式存储系统建设模式与服务效能研究
2
作者 吴峥 董翔 +2 位作者 李杰飞 曾薇 刘晓京 《中国地震》 北大核心 2024年第1期251-259,共9页
我国地震监测系统历经了数字化、网络化和自动化的变革。随着地震监测站网规模的不断扩大,作为国家数据中心,中国地震台网中心面临数万地震台站观测数据处理和存储压力。本文基于前期国家地震烈度速报与预警工程、公共安全信息化工程(... 我国地震监测系统历经了数字化、网络化和自动化的变革。随着地震监测站网规模的不断扩大,作为国家数据中心,中国地震台网中心面临数万地震台站观测数据处理和存储压力。本文基于前期国家地震烈度速报与预警工程、公共安全信息化工程(中国地震局)建设项目等建设经验,总结地震数据分布式存储系统的建设模式,并验证其合理性。同时以历史数据迁移归档业务为例,分析共享存储系统的服务效能,为海量观测数据的高效存储管理、共享数据存储系统建设提供参考。 展开更多
关键词 地震数据 分布式存储系统 建设模式 服务效能
在线阅读 下载PDF
HOS:一种基于HBase的分布式存储系统设计与实现 被引量:18
3
作者 季一木 张宁 +4 位作者 尧海昌 李奎 李航 刘尚东 王汝传 《南京邮电大学学报(自然科学版)》 北大核心 2019年第5期63-71,共9页
大数据时代,数据快速增长,迫切需要寻找有效的数据存储方案,HBase系统具有分布式、列式存储的特点,为大数据的存储管理提供了一种高效的解决方案。由于HBase只支持主键索引,对于非主键查询效率低下,难以满足实时需求。为此,提出一种分... 大数据时代,数据快速增长,迫切需要寻找有效的数据存储方案,HBase系统具有分布式、列式存储的特点,为大数据的存储管理提供了一种高效的解决方案。由于HBase只支持主键索引,对于非主键查询效率低下,难以满足实时需求。为此,提出一种分层式索引查询模型,该模型基于HBase建立持久性索引层,基于Redis建立分布式热点索引缓存层。前者为存储在HBase中的数据建立索引表,提高查询效率,后者基于Redis在内存中存储热点索引,降低磁盘访问开销,进一步提高查询效率。最终,依据此模型实现了分层式索引查询系统HOS,基于Imagenet图片数据集对HOS进行实验,实验结果表明,HOS数据查询性能优于标准HBase。 展开更多
关键词 hbase 查询处理 分层式索引 分布式存储
在线阅读 下载PDF
基于HBase的矢量空间数据分布式存储研究 被引量:40
4
作者 范建永 龙明 熊伟 《地理与地理信息科学》 CSCD 北大核心 2012年第5期39-42,共4页
分析了分布式数据库HBase的存储模型;结合对HBase集群技术的研究,设计了基于HBase的矢量空间数据存储模型和一种基于MapReduce的并行构建网格空间索引方法,使得海量空间矢量数据的网格索引构建分配到各子节点进行,大大加快索引构建的处... 分析了分布式数据库HBase的存储模型;结合对HBase集群技术的研究,设计了基于HBase的矢量空间数据存储模型和一种基于MapReduce的并行构建网格空间索引方法,使得海量空间矢量数据的网格索引构建分配到各子节点进行,大大加快索引构建的处理速度;最后,利用HBase集群环境对所提出的方法进行验证,该方法具有较好的可行性和较高的效率。 展开更多
关键词 HADOOP hbase 矢量数据 存储模型 分布式存储 MAPREDUCE
在线阅读 下载PDF
基于存储结构重配置的分布式存储系统节能算法 被引量:40
5
作者 廖彬 于炯 +1 位作者 孙华 年梅 《计算机研究与发展》 EI CSCD 北大核心 2013年第1期3-18,共16页
作为云计算底层核心基础设施,分布式数据存储系统是各种云计算服务的基础,是云计算重要的组成部分.然而随着系统规模的不断扩大以及设计时对能耗因素的忽略使其暴露出高能耗问题.由于存在数据可用性要求,使其并不能简单采用已有节能技... 作为云计算底层核心基础设施,分布式数据存储系统是各种云计算服务的基础,是云计算重要的组成部分.然而随着系统规模的不断扩大以及设计时对能耗因素的忽略使其暴露出高能耗问题.由于存在数据可用性要求,使其并不能简单采用已有节能技术解决能耗问题,保证数据可用性成为设计分布式存储系统节能算法的前提.对系统与数据的可用性进行了建模,并通过对存储结构与机制、节点状态与数据块可用性之间的关系的研究提出构造数据块可用性度量矩阵解决数据可用性完全覆盖问题.定义了分布式存储系统的节能模型,将RACK划分为Active-Zone与Sleep-Zone两个存储区域,根据不同数据的访问频率与规律计算活动因子以配置数据的存储区域,通过数据中心负载规律适时对Sleep-Zone区域中的服务器进行休眠处理以达到节能的目的.实验结果表明:算法在适应数据访问规律与可用性保证前提下,能够提高分布式存储系统的能耗利用率,并且当系统负载与数据平均活动因子越低时算法节能效率越高. 展开更多
关键词 云计算 分布式存储系统 节能计算 存储结构重配置 数据可用性覆盖
在线阅读 下载PDF
Ceph分布式存储系统性能优化技术研究综述 被引量:25
6
作者 张晓 张思蒙 +2 位作者 石佳 董聪 李战怀 《计算机科学》 CSCD 北大核心 2021年第2期1-12,共12页
Ceph是一个统一的分布式存储系统,可同时提供块、文件和对象3种接口的存储服务。与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线性增长的性能。经过十余年的发展,Ceph已被广泛地应用于云计... Ceph是一个统一的分布式存储系统,可同时提供块、文件和对象3种接口的存储服务。与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线性增长的性能。经过十余年的发展,Ceph已被广泛地应用于云计算和大数据存储系统。作为云计算的底层平台,Ceph除了提供虚拟机的存储服务外,还可以直接提供对象存储服务和NAS文件服务。Ceph支撑着云计算系统中多种操作系统和应用的存储需求,它的性能对其上的虚拟机和应用有较大的影响,因此Ceph存储系统的性能优化一直是学术界和工业界的研究热点。文中首先介绍了Ceph的架构和特性;然后针对现有的性能优化技术,从对内部机制进行改进、面向新型硬件和基于应用的优化这3个方面进行了归纳和总结,综述了近年来Ceph存储和优化的相关研究;最后对该领域未来的工作进行了展望,以期为分布式存储系统性能优化的研究者提供有价值的参考。 展开更多
关键词 Ceph分布式存储系统 性能优化 非易失内存 固态硬盘 统一存储
在线阅读 下载PDF
面向海量高清视频数据的高性能分布式存储系统 被引量:10
7
作者 操顺德 华宇 +2 位作者 冯丹 孙园园 左鹏飞 《软件学报》 EI CSCD 北大核心 2017年第8期1999-2009,共11页
通过对视频监控数据的特点和传统存储方案进行分析,提出一种高性能分布式存储系统解决方案.不同于传统的基于文件存储的方式,设计了一种逻辑卷结构,将非结构化的视频流数据以此结构进行组织并直接写入RAW磁盘设备,解决了传统存储方案中... 通过对视频监控数据的特点和传统存储方案进行分析,提出一种高性能分布式存储系统解决方案.不同于传统的基于文件存储的方式,设计了一种逻辑卷结构,将非结构化的视频流数据以此结构进行组织并直接写入RAW磁盘设备,解决了传统存储方案中随机磁盘读写和磁盘碎片导致存储性能下降的问题.该方案将元数据组织为两级索引结构,分别由状态管理器和存储服务器管理,极大地减少了状态管理器需要管理元数据的数量,消除了性能瓶颈,并提供了精确到秒级的检索精度.此外,该方案灵活的存储服务器分组策略和组内互备关系使得存储系统具备容错能力和线性扩展能力.系统测试结果表明,该方案在成本低廉的PC服务器上实现了单台服务器可同时记录400路1080P视频流,写入速度是本地文件系统的2.5倍. 展开更多
关键词 海量存储 视频存储 流媒体存储 分布式系统 逻辑卷
在线阅读 下载PDF
基于DICOM标准的大型医学影像分布式存储系统研究 被引量:15
8
作者 张健 池峰 +1 位作者 高新波 姬红兵 《计算机应用研究》 CSCD 北大核心 2004年第4期85-87,共3页
提出了一种符合DICOM标准的大型医学影像分布式存储系统的体系结构。采用多级分布式存储体系,引入JPEG2000压缩技术,结合大型数据库,实现智能、稳定和高效的存储管理。切实解决了医院影像中心PACS目前和未来对大容量/超大容量医学影像... 提出了一种符合DICOM标准的大型医学影像分布式存储系统的体系结构。采用多级分布式存储体系,引入JPEG2000压缩技术,结合大型数据库,实现智能、稳定和高效的存储管理。切实解决了医院影像中心PACS目前和未来对大容量/超大容量医学影像数据存储的需求。 展开更多
关键词 DICOM 图像档案和通信系统 分布式存储 JPEG2000 数据库
在线阅读 下载PDF
门限Byzantine quorum系统及其在分布式存储中的应用 被引量:6
9
作者 张薇 马建峰 +1 位作者 王良民 郭渊博 《电子学报》 EI CAS CSCD 北大核心 2008年第2期314-319,共6页
针对纠删编码和门限方案在分布式存储中的应用,提出门限Byzantine quorum系统(TBQS)的概念.该系统与数据分离算法相结合,可以构造可靠性较强的存储系统,当故障服务器个数不超过服务器总数的1/4时,利用TBQS设计存储策略可以实现容错和无... 针对纠删编码和门限方案在分布式存储中的应用,提出门限Byzantine quorum系统(TBQS)的概念.该系统与数据分离算法相结合,可以构造可靠性较强的存储系统,当故障服务器个数不超过服务器总数的1/4时,利用TBQS设计存储策略可以实现容错和无间断服务.讨论了TBQS的存在性,构造了两类TBQS并对其效率进行分析,在此基础上设计了基于TBQS的分布式读写协议. 展开更多
关键词 分布式存储 容错 QUORUM系统 Byzantine故障
在线阅读 下载PDF
分布式文件系统存储介质评测与分析 被引量:9
10
作者 许春聪 黄小猛 +2 位作者 吴诺 孙宁伟 杨广文 《计算机学报》 EI CSCD 北大核心 2010年第10期1873-1880,共8页
文中分析了磁盘、SSD和DRAM的价格和能耗,测试了分布式文件系统HDFS、MooseFS和CarrierFS部署在不同存储介质上的数据吞吐率,接着提出了一种存储介质的性价比理论模型,并分析了当前、2015年和2020年不同存储介质的性价比和变化趋势.通... 文中分析了磁盘、SSD和DRAM的价格和能耗,测试了分布式文件系统HDFS、MooseFS和CarrierFS部署在不同存储介质上的数据吞吐率,接着提出了一种存储介质的性价比理论模型,并分析了当前、2015年和2020年不同存储介质的性价比和变化趋势.通过性价比分析可得,DRAM具有较大的性价比优势,适合于高并发随机访问应用.随着DRAM容量的快速提升,未来DRAM有可能成为可选的数据存储介质.当前,SSD虽然具有较好的访问性能,但其价格高、容量小、性价比低于磁盘.2015年SSD的性价比将超过磁盘,有可能替代磁盘成为大规模存储系统的基本存储设备. 展开更多
关键词 分布式文件系统 吞吐率 存储介质
在线阅读 下载PDF
分布式存储系统的哈希算法研究 被引量:18
11
作者 黄秋兰 程耀东 陈刚 《计算机工程与应用》 CSCD 2014年第1期1-4,77,共5页
针对分布式存储系统中如何实现数据在物理存储上的均匀分布和高效定位的问题,对多种哈希算法展开研究,提出了衡量分布式存储系统哈希算法优劣的标准;从散列分布性、哈希冲突和计算效率等多个维度对这些哈希算法进行分析比较,指出各种哈... 针对分布式存储系统中如何实现数据在物理存储上的均匀分布和高效定位的问题,对多种哈希算法展开研究,提出了衡量分布式存储系统哈希算法优劣的标准;从散列分布性、哈希冲突和计算效率等多个维度对这些哈希算法进行分析比较,指出各种哈希算法的应用场景;结合分布式存储系统的应用,给出最优的哈希算法选择。实验结果证明,Davies-Meyer算法具有很好的均匀分布性和很高的计算效率,很适合分布式存储系统的应用。 展开更多
关键词 分布式存储系统 哈希算法 散列分布 哈希冲突 Davies-Meyer算法
在线阅读 下载PDF
分布式存储系统最小带宽再生码研究 被引量:7
12
作者 王禹 赵跃龙 侯昉 《小型微型计算机系统》 CSCD 北大核心 2012年第8期1710-1714,共5页
分布式存储系统常常使用纠删码冗余技术提高系统可靠性.为保证一定的冗余度,系统必须具有自修复能力再生失效数据.再生码是纠删码的一种改进形式,最大特点在于无需下载整个数据文件就能恢复单个节点数据,从而有效减少数据修复时的网络带... 分布式存储系统常常使用纠删码冗余技术提高系统可靠性.为保证一定的冗余度,系统必须具有自修复能力再生失效数据.再生码是纠删码的一种改进形式,最大特点在于无需下载整个数据文件就能恢复单个节点数据,从而有效减少数据修复时的网络带宽.相关文献证明再生码数据修复时存在极值点—最小带宽再生点(MBR),由此提出最小带宽再生码MBRC.文中从数据分布、失效数据修复和数据重构三个方面描述了实现的原理,并通过构建数据矩阵和修复矩阵实现MBRC再生码.利用实例详细给出了再生码的实现过程,并理论证明正确性,最后仿真实验验证了MBRC的有效性. 展开更多
关键词 分布式 存储系统 再生码 数据修复
在线阅读 下载PDF
一种分布式存储系统拟态化架构设计与实现 被引量:22
13
作者 郭威 谢光伟 +1 位作者 张帆 李敏 《计算机工程》 CAS CSCD 北大核心 2020年第6期12-19,共8页
针对当前分布式存储系统中漏洞后门威胁导致的数据安全问题,通过引入网络空间拟态防御理论及其相关安全机制,从结构角度出发增强系统的安全防护能力。对分布式存储系统面临的主要威胁和攻击途径进行分析,定位其核心薄弱点,结合防护的代... 针对当前分布式存储系统中漏洞后门威胁导致的数据安全问题,通过引入网络空间拟态防御理论及其相关安全机制,从结构角度出发增强系统的安全防护能力。对分布式存储系统面临的主要威胁和攻击途径进行分析,定位其核心薄弱点,结合防护的代价与有效性提出一种可行的系统安全构造方法。以大数据Hadoop分布式文件系统为目标对象,设计面向元数据服务的拟态化架构,利用搭建元数据服务的动态异构冗余结构保护系统核心信息和功能,通过对副本的异构化放置保护用户数据,并在此架构基础上设计基于反馈信息的裁决调度联动机制。测试结果表明,该方法能够有效提升分布式存储系统的安全性。 展开更多
关键词 大数据 数据安全 网络空间拟态防御 分布式存储系统 裁决与调度机制
在线阅读 下载PDF
面向云计算的键值型分布式存储系统研究 被引量:7
14
作者 孙勇 林菲 王宝军 《电子学报》 EI CAS CSCD 北大核心 2013年第7期1406-1411,共6页
对于数据密集型的云计算应用,基于磁盘的存储系统很难同时满足它们对性能与可用性的需求.本文提出了一种以内存为主设备、以磁盘为辅助设备的键值型分布式存储系统M-Cloud,能提供大数据读写、备份及恢复等存储服务功能.M-Cloud通过将数... 对于数据密集型的云计算应用,基于磁盘的存储系统很难同时满足它们对性能与可用性的需求.本文提出了一种以内存为主设备、以磁盘为辅助设备的键值型分布式存储系统M-Cloud,能提供大数据读写、备份及恢复等存储服务功能.M-Cloud通过将数据全部装入服务器集群内存中的方式提高系统整体性能,并设计了分区线性哈希算法以实现负载均衡和高扩展性,设计了相应的数据备份与故障快速恢复策略以保证系统可靠性.仿真实验结果表明,M-Cloud具有较高的性能与可用性,对系统进一步改进和优化后具有应用于实际生产环境中的潜力,可为用户提供高质量的存储服务. 展开更多
关键词 云计算 键值 分布式存储系统 线性哈希 故障恢复
在线阅读 下载PDF
分布式VOD系统的视频数据存储 被引量:23
15
作者 彭宇行 陈福接 《计算机学报》 EI CSCD 北大核心 2000年第6期671-671,F003,共2页
以降低视频服务损失率为目标研究分布式 VOD系统视频文件的存储策略 。
关键词 分布式VOD系统 视频数据存储 多媒体
在线阅读 下载PDF
应用SpaceWire网络的航天器分布式存储系统设计 被引量:5
16
作者 穆强 牛跃华 +3 位作者 于俊慧 李欣 袁珺 高何 《航天器工程》 CSCD 北大核心 2019年第2期78-84,共7页
针对航天器数据存储需求多样化的发展趋势,提出了应用SpaceWire网络的分布式存储系统设计。系统由控制模块和存储模块组成,为航天器载荷设备提供标准SpaceWire物理层、链路层接口,并在网络层提供统一的虚拟数据接口,通过逻辑地址进行标... 针对航天器数据存储需求多样化的发展趋势,提出了应用SpaceWire网络的分布式存储系统设计。系统由控制模块和存储模块组成,为航天器载荷设备提供标准SpaceWire物理层、链路层接口,并在网络层提供统一的虚拟数据接口,通过逻辑地址进行标志和寻址,可屏蔽系统内部网络细节;载荷设备不必关注存储系统内部网络结构的变化,当部分模块故障时,可重新规划传输路径,对分布式存储系统进行重构,实现系统控制和数据存储功能的迁移。与存储需求相近、配置双固态存储系统的设计相比,其接口种类、协议设计更加简化,且系统重构方面的优势更为明显。 展开更多
关键词 航天器分布式存储系统 SpaceWire网络 网络层 包路由 系统重构
在线阅读 下载PDF
分布式存储在专科医院PACS系统的应用研究 被引量:12
17
作者 袁骏毅 尤丽珏 潘常青 《计算机应用与软件》 北大核心 2021年第5期32-36,共5页
充分利用新兴的分布式存储技术,改善专科医院由于影像量较大导致调阅缓慢的现象,提升临床工作效率。以上海市胸科医院为研究背景,评估合理的存储容量配置,实施基于分布式存储的PACS系统,选取上线前后的情况作为对照组和观察组,实证分析... 充分利用新兴的分布式存储技术,改善专科医院由于影像量较大导致调阅缓慢的现象,提升临床工作效率。以上海市胸科医院为研究背景,评估合理的存储容量配置,实施基于分布式存储的PACS系统,选取上线前后的情况作为对照组和观察组,实证分析应用效果。研究结果表明,分布式存储架构相比较原有的集中式存储,对于小文件数量多且容量大的CT、MR、PET等影像,下载速度显著提升约106%~179%。随着医院便民服务举措的深化,检查影像的电子化调阅延伸到患者手机,建设高效稳定的分布式存储,有助于智慧医疗和互联网医院的蓬勃发展。 展开更多
关键词 分布式存储 PACS系统 下载速度 负载均衡
在线阅读 下载PDF
分布式共享存储系统中的存储管理及优化技术 被引量:4
18
作者 戴华东 夏军 杨学军 《计算机工程》 CAS CSCD 北大核心 2003年第5期13-15,共3页
分布式共享存储体系结构由于结合了较好的可扩展性和可编程性,已经成为目前并行计算机领域的主要发展方向。文章针对分布式共享存储系统中存储管理的两个关键问题——存储一致性模型和数据局部性优化技术进行了探讨。
关键词 分布式共享存储系统 存储管理 优化技术 操作系统 计算机 存储一致性模型 页迁移
在线阅读 下载PDF
基于新型存储器件的分布式文件系统性能优化 被引量:7
19
作者 董聪 张晓 +1 位作者 程文迪 石佳 《计算机应用》 CSCD 北大核心 2020年第12期3594-3603,共10页
新型存储器件的I/O性能通常比传统固态驱动器(SSD)高一个数量级,然而使用新型存储器件的分布式文件系统相对于使用SSD的分布式文件系统性能并没有显著的提高,这说明目前的分布式文件系统并不能充分发挥新型存储器件的性能。针对这个问题... 新型存储器件的I/O性能通常比传统固态驱动器(SSD)高一个数量级,然而使用新型存储器件的分布式文件系统相对于使用SSD的分布式文件系统性能并没有显著的提高,这说明目前的分布式文件系统并不能充分发挥新型存储器件的性能。针对这个问题,对Hadoop分布式文件系统(HDFS)的数据写入流程及传输过程进行了量化分析。通过量化分析HDFS数据写入过程各阶段的时间开销,发现在写入数据的各个阶段中,节点间数据传输的时间占比较大。因此提出了对应的优化方案,通过异步写入的方式并行化数据传输与处理过程,使得不同数据包的处理阶段叠加起来,减少了数据包整体的处理时间,从而提升了HDFS的写入性能。实验结果表明,所提方案将HDFS的写入吞吐量提升了15%~24%,总体的写入执行时间降低了28%~36%。 展开更多
关键词 分布式文件系统 HADOOP分布式文件系统 非易失性存储 性能优化 异步写入
在线阅读 下载PDF
基于分布式共享存储系统的并行文件子系统DPFS 被引量:4
20
作者 章隆兵 陈意云 +1 位作者 章锋 陈国良 《计算机研究与发展》 EI CSCD 北大核心 2002年第3期360-366,共7页
为了改进软件 DSM系统中对文件的存取性能以获得更好的应用程序性能 ,基于软件 DSM系统 JIAJIA的并行文件子系统 DPFS被开发出来 .DPFS系统采用文件映射接口作为应用编程接口 ,使得文件存取界面简单 ,并且能充分利用软件 DSM系统的大量... 为了改进软件 DSM系统中对文件的存取性能以获得更好的应用程序性能 ,基于软件 DSM系统 JIAJIA的并行文件子系统 DPFS被开发出来 .DPFS系统采用文件映射接口作为应用编程接口 ,使得文件存取界面简单 ,并且能充分利用软件 DSM系统的大量特性 ,系统设计相对简单 .在曙光 2 0 0 0并行机上进行的应用测试表明 ,采用DPFS文件子系统后 。 展开更多
关键词 分布式共享存储系统 文件映射接口 DPFS 并行文件子系统 工作站网络
在线阅读 下载PDF
上一页 1 2 15 下一页 到第
使用帮助 返回顶部