大规模存储中的一个有效的数据放置算法 被引量：4

1

作者 谈华芳 孙丽丽 侯紫峰 《计算机工程》 CAS CSCD 北大核心 2006年第10期47-49,共3页

在大规模存储中,经常面临组件的增加和失败。为了提高可用性和可管理性,研究和比较了不同的数据定位机制,设计了一个离散的、自适应的算法。这个算法保证任何一个特定的数据对象的副本不会被放置在同一个存储节点上。并且根据存储节点... 在大规模存储中,经常面临组件的增加和失败。为了提高可用性和可管理性,研究和比较了不同的数据定位机制,设计了一个离散的、自适应的算法。这个算法保证任何一个特定的数据对象的副本不会被放置在同一个存储节点上。并且根据存储节点的能力公平地分布数据对象到存储节点上。当新的存储节点加入系统或已存在的节点退出系统时,需重新分布的数据对象被尽可能地减少。算法中没有集中控制点,保证了系统的可扩展性。 展开更多

关键词 大规模存储 数据对象放置 存储节点

在线阅读 下载PDF 职称材料

面向大规模存储系统的静态文件布局策略 被引量：1

2

作者 龙赛琴 赵跃龙 +2 位作者 谢晓玲 陈伟 曾文英 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2013年第1期70-76,共7页

为了提高大规模存储系统的访问性能,提出了一种静态文件布局策略(SFLS).SFLS首先把磁盘分成两组,分别用于存放热点文件和大文件,然后按服务时间长短将排序好的文件分别以Round-robin和Greedy的方式存放到两组磁盘上;在进行文件访问时,... 为了提高大规模存储系统的访问性能,提出了一种静态文件布局策略(SFLS).SFLS首先把磁盘分成两组,分别用于存放热点文件和大文件,然后按服务时间长短将排序好的文件分别以Round-robin和Greedy的方式存放到两组磁盘上;在进行文件访问时,可根据文件的大小和热度来选择相应的磁盘组进行访问.该策略加快了文件I/O请求的访问速度,提高了存储系统的访问性能.实验结果表明,SFLS能动态适应系统规模的增长,与SP、SOR静态布局策略和HP动态布局策略相比,具有更低的平均响应时间和更好的负载均衡性能. 展开更多

关键词 大规模存储系统 文件布局策略 静态布局 负载均衡 平均响应时间

在线阅读 下载PDF 职称材料

Goldfish:基于矩阵分解的大规模RDF数据存储与查询系统 被引量：11

3

作者 顾荣 仇红剑 +3 位作者 杨文家 胡伟 袁春风 黄宜华 《计算机学报》 EI CSCD 北大核心 2017年第10期2212-2230,共19页

随着互联网应用的迅猛发展和语义网技术研究的深入,语义数据呈现出爆炸性增长趋势.一方面,对于语义数据实现高效存储和查询是语义网应用的重要基础,越来越多的语义应用可以依赖于此以提供更好的服务;另一方面,语义数据的爆炸性增长,对... 随着互联网应用的迅猛发展和语义网技术研究的深入,语义数据呈现出爆炸性增长趋势.一方面,对于语义数据实现高效存储和查询是语义网应用的重要基础,越来越多的语义应用可以依赖于此以提供更好的服务;另一方面,语义数据的爆炸性增长,对大数据环境下的语义数据的存储与查询技术提出了新的挑战.传统的基于关系型数据库的语义数据与查询系统已难以满足大规模语义数据的存储与查询需求.该文针对大规模RDF数据的存储与查询问题,以OpenRDF Sesame框架为基础,采用分布式分层式存储架构,提出并实现了属性表存储结构来进行语义数据的存储.在此基础上,针对布尔矩阵分解算法在对大规模语义数据构造属性表较慢的问题,基于Spark分布式计算框架提出并实现了并行化频繁项集挖掘算法求解大规模矩阵分解,以加速属性表的构造过程.并且,在查询层增加了基于哈希转换等查询优化.最后,基于该文所提出的索引结构和优化方法设计实现了原型系统Goldfish,并在大规模合成和真实数据集上进行了实验对比.结果表明,Goldfish原型系统比Rainbow系统查询性能平均提升约6倍,比Jena-HBase查询性能平均提升约500倍,比基于MapReduce的RDF查询系统SHARD性能平均提升约1200倍. 展开更多

关键词 大规模RDF存储 矩阵分解 分层式存储 大数据 语义网 SPARK

在线阅读 下载PDF 职称材料

基于Lustre的大规模文件系统拥塞控制算法的研究 被引量：4

4

作者 张钰森 吴庆波 谭郁松 《计算机研究与发展》 EI CSCD 北大核心 2011年第S1期189-193,共5页

在高性能计算中,基于对象存储的分布式文件系统Lustre文件系统具有极为广泛的应用,并取得了较好的效果.随着存储规模的不断扩大,Lustre文件系统内部的请求数量呈线性增长趋势,拥塞随之发生.通过分析发生拥塞的Lustre文件系统,针对其拥... 在高性能计算中,基于对象存储的分布式文件系统Lustre文件系统具有极为广泛的应用,并取得了较好的效果.随着存储规模的不断扩大,Lustre文件系统内部的请求数量呈线性增长趋势,拥塞随之发生.通过分析发生拥塞的Lustre文件系统,针对其拥塞原因提出了一种大规模存储下的拥塞控制算法——状态感知拥塞控制算法.对比拥塞控制前后Lustre文件系统的测试结果可以发现,该算法极大地提高了Lustre文件系统在大规模存储情况下的性能,提高了Lustre文件系统的扩展性. 展开更多

关键词 LUSTRE文件系统 大规模存储 状态感知拥塞控制

在线阅读 下载PDF 职称材料

支持FPGA动态重构的RISC-V扩展指令集设计与实现

5

作者 周炫锦 蔡刚 黄志洪 《计算机工程》 北大核心 2025年第5期229-238,共10页

目前实现动态重构的常用方法是通过片上接口进行配置,一般采用现场可编程门阵列(FPGA)官方提供的动态重构控制知识产权(IP)核,并通过系统总线与处理器相连。这种方法会占用较多静态部分的逻辑资源,并且限制了片上接口的运行频率。针对... 目前实现动态重构的常用方法是通过片上接口进行配置,一般采用现场可编程门阵列(FPGA)官方提供的动态重构控制知识产权(IP)核,并通过系统总线与处理器相连。这种方法会占用较多静态部分的逻辑资源,并且限制了片上接口的运行频率。针对这些问题,提出将FPGA抽象为大规模存储器的设计理念,构建DPRC动态重构控制指令集及配套应用程序编程接口(API),以优化逻辑资源占用量,消除缓冲延迟。指令集的实现以原有RV32IMC为基础,采用微指令序列控制片上接口部分,通过与数据通路紧密耦合来减少逻辑资源使用量,使用参数化多周期方案优化时序并确保通用性。实验结果表明,与传统方法相比,该系统中动态重构功能相关逻辑资源占用量减少84%,频率提高312%。相较于原有处理器,添加扩展指令集后处理器自身资源占用量仅增加5%,最差情况下扩展部分对时钟周期的影响小于0.2 ns,表明该动态重构控制方案具有低成本、高主频的特性。 展开更多

关键词 RISC-V指令集 扩展指令集 动态重构 FPGA技术 大规模存储器

在线阅读 下载PDF 职称材料

基于带外存储虚拟化的逻辑卷高性能快照 被引量：3

6

作者 周炜 谭怀亮 +1 位作者 易乐天 舒继武 《计算机研究与发展》 EI CSCD 北大核心 2012年第3期636-645,共10页

在逻辑卷级别实现快照既能屏蔽物理存储设备的异构性,又能为各种应用提供透明的数据保护支持.提出了一种基于带外存储虚拟化系统的高性能快照方法LVHPsnap,它通过可扩展的元数据组织策略,能够灵活使用多种类型的快照适应不同应用的需求... 在逻辑卷级别实现快照既能屏蔽物理存储设备的异构性,又能为各种应用提供透明的数据保护支持.提出了一种基于带外存储虚拟化系统的高性能快照方法LVHPsnap,它通过可扩展的元数据组织策略,能够灵活使用多种类型的快照适应不同应用的需求;通过以Finesnap卷、Checkpoint卷两种类型快照卷构建混合快照链表和压缩快照索引数据实现了高性能快照,以高频度生成快照时系统能保持较高的性能和存储空间利用率;引入自适应快照机制,通过监控数据块修改频度,使自动生成快照的时间间隔随应用负载的变化动态调整,实现数据按需保护.基于真实工作负载和基准测试程序的实验表明,在构建混合快照链表的条件下,LVHPsnap的性能和存储空间利用率随Finesnap卷的比例增加而提高,例如当Finesnap卷与Checkpoint卷比例分别为4:1和8:1时,LVHPsnap的性能分别较集群虚拟化系统LVM2提高了109.45%和130.86%,存储空间使用量分别仅为LVM2系统的43.40%和31.35%. 展开更多

关键词 高性能快照 大规模存储系统 带外存储虚拟化 混合快照链表 自适应快照

在线阅读 下载PDF 职称材料

视频存储服务器的准入控制策略

7

作者 张选芳 《成都理工大学学报（自然科学版）》 CAS CSCD 北大核心 2004年第4期408-411,共4页

分析了大规模视频存储服务器的准入控制和基于磁盘系统的视频服务器的准入控制策略。提出了基于磁盘系统的为保证视频服务器接纳更大数目用户的比例法,即保证在每个服务周期中为每个用户要求检索到的数据块的数目与其对应的回放速率成比... 分析了大规模视频存储服务器的准入控制和基于磁盘系统的视频服务器的准入控制策略。提出了基于磁盘系统的为保证视频服务器接纳更大数目用户的比例法,即保证在每个服务周期中为每个用户要求检索到的数据块的数目与其对应的回放速率成比例,这种算法能够保证得到支持多用户媒体回放的稳态性和迁移态连续性的要求。与循环Robin法和穷举法相比,比例法是一个更好的选择。 展开更多

关键词 大规模视频存储服务器 准入控制 循环Robin法 穷举法 比例法

在线阅读 下载PDF 职称材料

重复数据删除中的无向图遍历分组预测方法 被引量：5

8

作者 王龙翔 张兴军 +2 位作者 朱国峰 朱跃光 董小社 《西安交通大学学报》 EI CAS CSCD 北大核心 2013年第10期51-56,共6页

针对重复数据删除系统中存储容量受内存限制难以进行扩展的问题,提出了一种基于无向图遍历的重复数据删除分组预测方法。该方法将索引表保存在磁盘中,并在内存中维护索引表缓存,以此提高系统最大可支持的存储容量。对于索引表缓存命中... 针对重复数据删除系统中存储容量受内存限制难以进行扩展的问题,提出了一种基于无向图遍历的重复数据删除分组预测方法。该方法将索引表保存在磁盘中,并在内存中维护索引表缓存,以此提高系统最大可支持的存储容量。对于索引表缓存命中率低、系统性能差的问题,采用了图遍历分组方法予以解决,根据数据块访问序列特征信息建立无向图并进行分析,基于分析结果对索引项进行分组,并以组进行缓存替换,从而提高缓存命中率和系统性能。实验结果表明,基于缓存预取原理和无向图遍历分组,在将缓存设置为索引表大小的10%时,重复数据删除存储系统最大存储容量比原有方法提高了7.5倍,缓存命中率由不进行索引项分组时的47%提高到87.6%。 展开更多

关键词 重复数据删除 分组预测 大规模存储系统

在线阅读 下载PDF 职称材料

基于镜像的高可用数据对象布局算法

9

作者 刘仲 任浩 周兴铭 《国防科技大学学报》 EI CAS CSCD 北大核心 2006年第5期42-46,共5页

镜像是提高数据可用性的流行方法。借鉴RAID的方法,在算法一级实现数据的冗余分布,提出基于镜像的高可用数据对象布局算法。在数据对象和存储节点失效时,利用冗余数据重构数据对象和存储节点,有效保证存储系统的高可用性。采用马尔可夫... 镜像是提高数据可用性的流行方法。借鉴RAID的方法,在算法一级实现数据的冗余分布,提出基于镜像的高可用数据对象布局算法。在数据对象和存储节点失效时,利用冗余数据重构数据对象和存储节点,有效保证存储系统的高可用性。采用马尔可夫激励模型对存储系统进行定量的可用性分析,计算结果表明该方法是有效的。 展开更多

关键词 大规模存储系统 高可用性 数据对象布局

在线阅读 下载PDF 职称材料

基于并行磁盘阵列的视频数据布局 被引量：3

10

作者 何元清 孙世新 黄天云 《计算机应用研究》 CSCD 北大核心 2004年第4期63-65,共3页

分析了大规模视频存储服务器的性能指标要求、体系结构、数据布局和准入控制等问题,提出了基于并行磁盘阵列上的、可满足用户多QoS要求的、基于三层可扩展的MPEG2视频编码的多分段视频存储方案,比已有的平衡放置、周期放置等方案能提供... 分析了大规模视频存储服务器的性能指标要求、体系结构、数据布局和准入控制等问题,提出了基于并行磁盘阵列上的、可满足用户多QoS要求的、基于三层可扩展的MPEG2视频编码的多分段视频存储方案,比已有的平衡放置、周期放置等方案能提供更好的灵活性、更高的可扩展性。 展开更多

关键词 并行 磁盘阵列 大规模视频存储器服务器 体系结构 数据布局

在线阅读 下载PDF 职称材料

云计算技术研究与应用综述 被引量：20

11

作者 李晓辉 《电子测量技术》 2011年第7期1-4,共4页

提出1个相对系统和综合的云计算参考性定义,指出云计算是"以互联网为载体,利用虚拟化等手段整合大规模分布式可配置的计算资源,使其以服务的方式提供给用户,满足用户按需使用的计算模式",然后从计算模式、科学研究、社会发展... 提出1个相对系统和综合的云计算参考性定义,指出云计算是"以互联网为载体,利用虚拟化等手段整合大规模分布式可配置的计算资源,使其以服务的方式提供给用户,满足用户按需使用的计算模式",然后从计算模式、科学研究、社会发展等多个维度阐明了云计算作为现代计算技术发展的必然产物所具备的发展意义,总结了国内外产业界、学术界、政府机构等在云计算方面的最新研究进展,深入分析了云计算研究过程中的重点和难点,最后指出了云计算未来的发展趋势。 展开更多

关键词 云计算 虚拟化 海量数据处理 大规模分布式存储

在线阅读 下载PDF 职称材料