基于策略的对象存储文件系统管理模型研究 被引量：1

1

作者 伍卫国 王鹤 +1 位作者 赵海祥 钱德沛 《计算机应用研究》 CSCD 北大核心 2007年第10期51-53,共3页

基于对象存储文件系统结构特点和策略管理思想,提出了对象存储文件系统管理的一般模型。定义了两种策略结构,并通过分析对象存储文件系统节点状态转换逻辑关系,给出了管理策略订制的理论依据。模型及其管理策略订制方法在Lustre对象存... 基于对象存储文件系统结构特点和策略管理思想,提出了对象存储文件系统管理的一般模型。定义了两种策略结构,并通过分析对象存储文件系统节点状态转换逻辑关系,给出了管理策略订制的理论依据。模型及其管理策略订制方法在Lustre对象存储文件系统中得到应用,效果良好。 展开更多

关键词 对象存储文件系统 对象管理 策略 LUSTRE

在线阅读 下载PDF 职称材料

用Access实现多种存储文件的转换

2

作者 殷华蓓 李通 《计算机应用》 CSCD 1999年第6期70-70,共1页

由于历史竞争和多层次需求的原因，目前流行的数据库使用了不同的数据存储格式，例如Ｓｙｂａｓｅ和ＳＱＬＳｅｒｖｅｒ用．ＤＡＴ设备文件，Ａｃｅｓ用．ｍｄｂ，ＸＢａｓｅ用．ｄｂｆ等等。此外，在Ｗｅｂ上还使用半结构的ＨＴ... 由于历史竞争和多层次需求的原因，目前流行的数据库使用了不同的数据存储格式，例如Ｓｙｂａｓｅ和ＳＱＬＳｅｒｖｅｒ用．ＤＡＴ设备文件，Ａｃｅｓ用．ｍｄｂ，ＸＢａｓｅ用．ｄｂｆ等等。此外，在Ｗｅｂ上还使用半结构的ＨＴＭＬ，以及普遍的ＴＸＴ文件。转换数... 展开更多

关键词 存储文件 文件转换 ACCESS 数据库

在线阅读 下载PDF 职称材料

智算中心存储系统优化研究

3

作者 曹原铭 雷鸣 +3 位作者 刘芹 牛瑛霞 武振宇 潘洁 《电信科学》 北大核心 2025年第7期164-175,共12页

智算中心使用分布式文件存储进行数据预处理和模型训练,使用分布式对象存储进行原始数据获取和模型发布,使用分布式块存储为资源管理平台提供存储服务。同时,模型训练过程中经常使用高性能分布式文件存储缩短checkpoint读写时间,提高集... 智算中心使用分布式文件存储进行数据预处理和模型训练,使用分布式对象存储进行原始数据获取和模型发布,使用分布式块存储为资源管理平台提供存储服务。同时,模型训练过程中经常使用高性能分布式文件存储缩短checkpoint读写时间,提高集群训练效率。大模型训练全生命周期需要在不同存储协议、不同读写性能的存储系统之间进行数据复制、迁移,导致数据重复存储,且数据复制需要占用计算资源和网络带宽。为了解决上述问题,并为智算集群提供统一命名空间,提出文件、对象融合存储和文件系统分级存储方案,解决不同存储协议间的数据搬运问题,实现高性能文件存储(全闪)和普通性能文件存储(混闪)间的数据自动流动,为超大规模智算集群的存储系统优化方案提供参考。 展开更多

关键词 融合存储 分级存储 分布式文件存储 分布式对象存储

在线阅读 下载PDF 职称材料

面向海量存储的文件系统评测基准 被引量：4

4

作者 李鑫 李战怀 张晓 《计算机工程》 CAS CSCD 北大核心 2011年第15期55-57,共3页

为满足海量存储文件系统级性能评测需求,开发一个通用的符合POSIX.1标准的文件系统基准评测工具LZpack,可为不同文件系统的性能评测比较提供一种有效的方法,也可为使用文件系统操作API集合的应用程序设计者提供性能评价的依据。LZpack... 为满足海量存储文件系统级性能评测需求,开发一个通用的符合POSIX.1标准的文件系统基准评测工具LZpack,可为不同文件系统的性能评测比较提供一种有效的方法,也可为使用文件系统操作API集合的应用程序设计者提供性能评价的依据。LZpack采用集群评测的评测架构,可以对文件I/O性能及元数据操作性能进行准确评测。对LZpack的系统结构和关键问题进行描述,对使用LZpack在不同文件系统上的测试结果进行分析,提出LZpack下一步的改进思路。 展开更多

关键词 海量存储文件系统 性能测试 集群评测 元数据操作测试

在线阅读 下载PDF 职称材料

一种性能优化的小文件存储访问策略的研究 被引量：20

5

作者 赵跃龙 谢晓玲 +2 位作者 蔡咏才 王国华 刘霖 《计算机研究与发展》 EI CSCD 北大核心 2012年第7期1579-1586,共8页

在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器... 在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率,提高了小文件访问性能;写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入,减少了文件碎片数量,提高了存储空间利用率;文件传输时利用局部性原理,提前发送批量的高访问率的小文件,降低了建立网络连接开销,提升了文件传输性能.理论分析和实验证明,SFSA的设计思想和方法能有效地优化小文件的存储访问性能. 展开更多

关键词 分布式文件系统 小文件存储 小文件存储访问 块 优化 访问性能

在线阅读 下载PDF 职称材料

基于Hadoop的小文件存储优化方案 被引量：12

6

作者 李孟 曹晟 秦志光 《电子科技大学学报》 EI CAS CSCD 北大核心 2016年第1期141-145,共5页

Hadoop作为成熟的分布式云平台,对较大的文件提供了可靠高效的存储服务,但在处理海量小文件时效率显著降低。该文提出了基于Hadoop的海量教育资源小文件的存储优化方案,利用教育资源小文件间的关联关系,将小文件进行合并成大文件以减少... Hadoop作为成熟的分布式云平台,对较大的文件提供了可靠高效的存储服务,但在处理海量小文件时效率显著降低。该文提出了基于Hadoop的海量教育资源小文件的存储优化方案,利用教育资源小文件间的关联关系,将小文件进行合并成大文件以减少文件数量,并索引机制访问小文件、元数据缓存和关联小文件预取机制来提高文件的读取效率。实验结果表明,该方法提高了Hadoop文件系统存储小文件的存取效率。 展开更多

关键词 HADOOP 索引机制 关联关系 小文件存储

在线阅读 下载PDF 职称材料

一种基于重复数据删除的镜像文件存储方法研究 被引量：5

7

作者 李锋 陆婷婷 郭建华 《计算机科学》 CSCD 北大核心 2016年第S2期495-498,共4页

在云计算环境中,基础设施即服务的日益发展导致虚拟机和虚拟机镜像的急剧增加,例如,Amazon Elastic Compute Cloud(EC2)有6521个公共虚拟机镜像文件,这给云环境的管理带来了极大的挑战,特别是大量镜像文件带来的重复数据的空间存储问题... 在云计算环境中,基础设施即服务的日益发展导致虚拟机和虚拟机镜像的急剧增加,例如,Amazon Elastic Compute Cloud(EC2)有6521个公共虚拟机镜像文件,这给云环境的管理带来了极大的挑战,特别是大量镜像文件带来的重复数据的空间存储问题。为解决这一问题,提出一种基于固定分块的镜像文件重复数据删除的存储方案。当存储一个镜像文件时,先计算该镜像文件的指纹,并与指纹库的指纹比较,若存在则用指针替代,否则采用固定分块对镜像文件分割存储。为此,可以设计镜像文件元数据格式和镜像文件MD5索引表来解决上述问题。实验结果表明,内容相同的镜像文件只是元数据的开销并实现秒传,而相同版本、相同系统、不同软件的镜像组的重删率约达到58%。因此,本方案是非常有效的。 展开更多

关键词 云计算 重复数据删除 镜像文件存储

在线阅读 下载PDF 职称材料

一种P2P环境下分布式文件存储系统的缓存策略 被引量：7

8

作者 高伟 韩华 代亚非 《计算机工程与应用》 CSCD 北大核心 2004年第30期45-48,84,共5页

在分布式文件存储系统中,缓存技术被广泛用于提高系统性能。论文针对P2P环境下分布式文件存储系统的特点,提出了一种兼顾用户访问效率和复本一致性的灵活的缓存策略,不同于目前已经存在的P2P存储系统,论文使用“阀值”来将文件区分为热... 在分布式文件存储系统中,缓存技术被广泛用于提高系统性能。论文针对P2P环境下分布式文件存储系统的特点,提出了一种兼顾用户访问效率和复本一致性的灵活的缓存策略,不同于目前已经存在的P2P存储系统,论文使用“阀值”来将文件区分为热点文件和非热点文件,并且只针对热点文件来做缓存,根据缓存空间的使用效率和不同的文件类型来设置不同的阀值使得缓存策略灵活而有效,论文对该策略进行了理论上的分析,然后通过Trace-Driven模拟的方法验证了该策略的可行性。 展开更多

关键词 缓存 P2P 分布式文件存储系统 阀值 日志记录驱动模拟

在线阅读 下载PDF 职称材料

海量多文件存储模式的CNSDTF-DEM数据转换方法研究 被引量：1

9

作者 王小东 付宇 戴福初 《华北水利水电大学学报（自然科学版）》 2014年第2期81-84,共4页

区域高精度CNSDTF-DEM数据的多文件存储模式方便了数据的管理与共享,增加了数据使用的灵活性,但同时也增加了DEM数据使用时数据转换与合并的开销.针对西南某地区应用多文件模式存储的海量CNSDTF-DEM数据作为水库塌岸预测与评价时所带来... 区域高精度CNSDTF-DEM数据的多文件存储模式方便了数据的管理与共享,增加了数据使用的灵活性,但同时也增加了DEM数据使用时数据转换与合并的开销.针对西南某地区应用多文件模式存储的海量CNSDTF-DEM数据作为水库塌岸预测与评价时所带来的格式转换与数据合并的问题展开研究,分析CNSDTFDEM数据与USGS-DEM数据的存储结构,采用C#程序设计语言实现了海量CNSDTF-DEM数据向USGSDEM数据的自动批量转换,并在ArcGIS软件平台下采用VBA宏语言将USGS-DEM数据批量转换为可直接读取的img格式的数据,为区域高分辨率DEM数据的应用提供了便利. 展开更多

关键词 海量数据 多文件存储模式 CNSDTF—DEM USGS—DEM 数据转换

在线阅读 下载PDF 职称材料

一种云环境下的镜像文件存储系统 被引量：1

10

作者 王洪发 《电信科学》 北大核心 2014年第2期82-87,共6页

随着云计算的发展进入主流,在云资源池中的虚拟机数量也越来越多,因此为满足负载平衡和节省能源的需求,怎样快速低成本地在不同主机之间迁移虚拟机成为了研究者研究的一个热点问题。设计了一个分布式镜像文件存储系统——IFSpool。基于L... 随着云计算的发展进入主流,在云资源池中的虚拟机数量也越来越多,因此为满足负载平衡和节省能源的需求,怎样快速低成本地在不同主机之间迁移虚拟机成为了研究者研究的一个热点问题。设计了一个分布式镜像文件存储系统——IFSpool。基于Lustre的该存储系统能够完成3个目标:大容量、高扩展性地支持成千上万个虚拟机镜像,高I/O吞吐率的数据访问和针对虚拟机启动风暴的启动优化。IFSpool紧密地结合队列和缓存机制,并通过协调数据访问顺序提高I/O吞吐率和减轻启动风暴。IFSpool的I/O带宽和存储容量能容易地通过动态增加存储节点和服务器扩充。实验结果表明,IFSpool对于虚拟机迁移是非常有效的。 展开更多

关键词 镜像文件存储 云计算 虚拟化 数据存储 LUSTRE I O调度

在线阅读 下载PDF 职称材料

一种WORM光盘文件存储系统的设计

11

作者 杨建东 布鲁诺.瑞斯曼 裴先登 《小型微型计算机系统》 CSCD 北大核心 1996年第3期47-51,共5页

本文讨论了ＷＯＲＭ光盘构成文件存储系统时由于写一次特性引起的各种处理方式。给出了一种存档后备式文件系统的设计。详细说明了其层次结构、文卷结构、文件结构，以及用户界面、层内部界面等设计。同时给出了速度及可靠性的设计考虑。

关键词 WORM光盘 文件存储系统 设计 光盘存储器

在线阅读 下载PDF 职称材料

一个网络文件存储系统TNS关键技术

12

作者 徐阳 《计算机工程与应用》 CSCD 北大核心 2015年第2期71-75,共5页

基于多服务器架构、为多用户服务的网络文件存储系统普遍存在资源分配不均,重复文件多,存储空间浪费严重的问题。设计并实现了TNS网络文件存储系统,该系统基于多服务器存储架构,分别由用户服务器、索引服务器、数据服务器、共享服务器... 基于多服务器架构、为多用户服务的网络文件存储系统普遍存在资源分配不均,重复文件多,存储空间浪费严重的问题。设计并实现了TNS网络文件存储系统,该系统基于多服务器存储架构,分别由用户服务器、索引服务器、数据服务器、共享服务器、管理服务器和登录服务器组成,为多用户服务,采用一致性Hash实现负载均衡,支持在客户端进行文件粒度的重复数据删除。经过实际生产环境运行测试,具有良好的负载均衡能力和重复数据删除功能,可以有效节省存储空间,提高存储设备利用率。 展开更多

关键词 网络文件存储 负载均衡 重复数据删除

在线阅读 下载PDF 职称材料

浅谈多媒体文件的存储结构

13

作者 王向阳 《计算机技术》 CSCD 1997年第9期211-214,共4页

本文以标准数字化声音信息文件－ＷＡＶＥ文件为例，详细剖析了多媒体文件的存储格式，进而了多媒体文件中重要数据信息的获取及应用方法。

关键词 多媒体 多媒体文件 文件存储结构 信息处理

在线阅读 下载PDF 职称材料

基于Erasure Code的分布式文件存储系统 被引量：5

14

作者 潘利伟 谷建华 +1 位作者 朱靖飞 周志超 《计算机工程》 CAS CSCD 北大核心 2010年第17期45-47,共3页

在局域网环境下,实现一种基于Erasure Code的分布式文件存储系统。该系统由元数据服务器和多个文件存储节点组成,通过对元数据与文件数据分离存储以提高文件访问效率,将Erasure Code有效冗余存储技术应用于文件编解码以增强可靠性,采用... 在局域网环境下,实现一种基于Erasure Code的分布式文件存储系统。该系统由元数据服务器和多个文件存储节点组成,通过对元数据与文件数据分离存储以提高文件访问效率,将Erasure Code有效冗余存储技术应用于文件编解码以增强可靠性,采用MD5消息摘要技术保证文件完整性。对30 MB^600 MB大小的文件测试结果表明,该系统具有更高的可靠性、安全性以及资源利用率。 展开更多

关键词 分布式文件存储 ERASURE Code技术 编解码 高可靠

在线阅读 下载PDF 职称材料

具有事务能力的文件存储技术 被引量：2

15

作者 宫海林 郭长国 +1 位作者 苑洪亮 王怀民 《计算机研究与发展》 EI CSCD 北大核心 2007年第z1期64-68,共5页

文件系统的存储效率较高,访问接口简单,因此很多应用系统的非结构化数据存储直接建立在文件系统上.随着应用系统管理的数据量不断增大和对数据操作的复杂化,文件系统提供的数据存储功能已经不能满足当前不断增长的存储需求.提出了一种... 文件系统的存储效率较高,访问接口简单,因此很多应用系统的非结构化数据存储直接建立在文件系统上.随着应用系统管理的数据量不断增大和对数据操作的复杂化,文件系统提供的数据存储功能已经不能满足当前不断增长的存储需求.提出了一种将非结构化数据集中存储,同时支持事务的存储方案,并依据此方案实现了一个高效、易用的数据存储系统GSL.GSL的数据存储接口与文件系统的接口风格一致,并支持事务处理.将GSL与文件系统以及Oracle数据库的BLOB存储效率进行了测试和比较,结果表明,GSL的存储效率与文件系统的存储效率相当,优于BLOB. 展开更多

关键词 非结构化数据 文件存储 事务

在线阅读 下载PDF 职称材料

基于RAMCloud的大文件存储方法的研究与实现 被引量：3

16

作者 刘钢标 张延园 +2 位作者 林奕 樊鑫 邢新疆 《计算机应用》 CSCD 北大核心 2017年第A01期45-48,共4页

内存云(RAMCloud)是一个新型的基于内存的分布式键值存储系统,它通过高速网络,将数据中心的各个服务器的可利用内存整合起来进行统一管理,利用磁盘实现数据的持久化存储。它能够有效地支持在线大规模小数据的存取与访问,但是并不支持大... 内存云(RAMCloud)是一个新型的基于内存的分布式键值存储系统,它通过高速网络,将数据中心的各个服务器的可利用内存整合起来进行统一管理,利用磁盘实现数据的持久化存储。它能够有效地支持在线大规模小数据的存取与访问,但是并不支持大文件的直接存取操作。针对上述问题,提出了一个基于文件分割和合并的解决方案,在此基础之上,设计和实现了一个大文件管理模块,并将此模块集成到RAMCloud中。通过实验对改进后的系统进行了性能测试,实验结果表明,该系统能够有效地支持大文件的存取,且与HDFS相比,读写速度均有着明显的性能优势。在后续工作中,考虑将此系统集成到HDFS中当作分布式缓存管理系统来使用,从而达到提高HDFS性能的目的。 展开更多

关键词 大文件存储 RAMCloud 分布式存储系统 访问延迟

在线阅读 下载PDF 职称材料

基于行键的HBase大数据文件存储转换与快速检索研究 被引量：11

17

作者 圣文顺 徐爱萍 《计算机应用研究》 CSCD 北大核心 2019年第12期3806-3810,共5页

针对传统关系型数据库很难满足数据的快速存储与检索的问题,研究了基于数据文件字段映射表、文件对象字段、HBase列映射表和存储转换执行方案映射表解决文件对象的异构性和存储转换的通用性问题。提出了自定义RowKey行键的规则与生成算... 针对传统关系型数据库很难满足数据的快速存储与检索的问题,研究了基于数据文件字段映射表、文件对象字段、HBase列映射表和存储转换执行方案映射表解决文件对象的异构性和存储转换的通用性问题。提出了自定义RowKey行键的规则与生成算法,给出了基于映射表与行键的数据转换与存储流程及算法;最后基于行键前缀匹配或关键字匹配方式实现了不同需求的数据快速访问与检索,且具有较强的通用性。 展开更多

关键词 大数据 文件存储 行键 特征值 快速检索

在线阅读 下载PDF 职称材料

面向城轨线网的海量小文件存储方法 被引量：2

18

作者 刘靖 廖家赵 刘琼 《计算机应用与软件》 CSCD 2016年第8期76-80,共5页

城轨线网小文件数据量巨大,传统的分布式文件系统很难为海量小文件存储提供符合需求的高吞吐、低延迟读写过程。根据城轨线网级业务的数据特点和以天为周期的数据访问方式,提出基于FastDFS分布式文件系统和Redis键值数据库的城轨线网海... 城轨线网小文件数据量巨大,传统的分布式文件系统很难为海量小文件存储提供符合需求的高吞吐、低延迟读写过程。根据城轨线网级业务的数据特点和以天为周期的数据访问方式,提出基于FastDFS分布式文件系统和Redis键值数据库的城轨线网海量小文件存储方法,将具有相关性的城轨小文件合并成大文件进行聚合写操作;根据FastDFS返回的大文件索引、小文件存储起始偏移量和小文件长度建立全局索引,利用Redis存储小文件名和全局索引的键值对;采用数据预取机制,预取创建时间相邻的数据。实验结果表明,相较于FastDFS系统,FastDFS-Redis系统的小文件读写吞吐量分别提高了9.35%和4.45%,达到明显改善城轨线网海量小文件的访问效率的目的。 展开更多

关键词 小文件存储 城轨线网 FastDFS REDIS 访问性能

在线阅读 下载PDF 职称材料

分布式文件存储系统性能测试问题研究 被引量：1

19

作者 岳斌 代亚非 韩华 《计算机工程与应用》 CSCD 北大核心 2003年第22期56-58,112,共4页

分布式文件存储系统的性能测试不同于普通的文件系统性能测试。首先,需要根据系统支持的操作确定测试的benchmark,然后,需要根据系统的设计规模对多用户并发访问系统的情形进行模拟。在“燕星”分布式文件存储系统的性能测试中,对Andrew... 分布式文件存储系统的性能测试不同于普通的文件系统性能测试。首先,需要根据系统支持的操作确定测试的benchmark,然后,需要根据系统的设计规模对多用户并发访问系统的情形进行模拟。在“燕星”分布式文件存储系统的性能测试中,对Andrewbenchmark进行改造,确定了测试的benchmark;基于RMIcallback机制,模拟了500个用户并发访问系统的情形。并将测试结果与NFS进行了对比,结果表明,“燕星”系统具有良好的实用性能。 展开更多

关键词 分布式文件存储系统 性能测试 BENCHMARK RMI CALLBACK

在线阅读 下载PDF 职称材料

星载高速碎片式文件存储访问系统设计

20

作者 杨宜禥 禹霁阳 +2 位作者 蒋帅 李欣 黄丹 《航天器工程》 CSCD 北大核心 2019年第6期65-72,共8页

针对碎片式文件存储访问系统访问效率较低的局限性,以及星上存储应用的实时性特点,从碎片式文件存储访问结构和基于NANDFlash的存储布局策略出发,提出一种星载高速碎片式文件存储访问(PFSA)系统.针对Flash中的块操作建立数据访问模型,... 针对碎片式文件存储访问系统访问效率较低的局限性,以及星上存储应用的实时性特点,从碎片式文件存储访问结构和基于NANDFlash的存储布局策略出发,提出一种星载高速碎片式文件存储访问(PFSA)系统.针对Flash中的块操作建立数据访问模型,将不同的碎片式文件存放在不同的Flash基片上,以提高并发数据的访问速度;采用磁电存储器(MRAM)存储百字节的碎片式文件,当MRAM内部数据达到阈值时一次性搬入Flash的固定块内,以减少碎片式文件的读写Flash时间.通过在板卡上的仿真试验对平均写入性能、大批量碎片式文件写入性能、文件传输性能及块擦除均衡性能进行测试,结果表明:相比于以往碎片式文件存储设计,访问速度、传输延迟、擦除均衡性能均得以提升,进而验证了PFSA系统设计的有效性. 展开更多

关键词 星载碎片式文件 文件存储访问 磁电存储器

在线阅读 下载PDF 职称材料