期刊文献+
共找到37篇文章
< 1 2 >
每页显示 20 50 100
蓝鲸分布式文件系统元数据服务 被引量:9
1
作者 杨德志 许鲁 张建刚 《计算机工程》 CAS CSCD 北大核心 2008年第7期4-6,9,共4页
文件系统元数据请求占据了所有请求50%以上的比例,文件系统元数据服务对整个文件系统有着重要的影响。该文介绍了蓝鲸分布式文件系统的元数据服务器集群(BWMMS)的设计方法。BWMMS通过高扩展的系统结构和简单灵活的元数据请求处理协议,... 文件系统元数据请求占据了所有请求50%以上的比例,文件系统元数据服务对整个文件系统有着重要的影响。该文介绍了蓝鲸分布式文件系统的元数据服务器集群(BWMMS)的设计方法。BWMMS通过高扩展的系统结构和简单灵活的元数据请求处理协议,完成元数据服务的协同处理过程。初步评估表明,BWMMS的元数据管理机制能够提供较好的元数据处理性能,具有较高的扩展能力。 展开更多
关键词 网络存储系统 分布式文件系统元数据服务 数据请求原子性保证
在线阅读 下载PDF
分布式文件系统元数据服务的负载均衡框架 被引量:17
2
作者 孙耀 刘杰 +1 位作者 叶丹 钟华 《软件学报》 EI CSCD 北大核心 2016年第12期3192-3207,共16页
请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,... 请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性. 展开更多
关键词 数据服务 分布式文件系统 负载均衡 预取 缓存
在线阅读 下载PDF
分布式文件系统元数据服务器高可用性设计 被引量:3
3
作者 战科宇 李小勇 刘海涛 《小型微型计算机系统》 CSCD 北大核心 2013年第4期801-805,共5页
设计并实现了面向对象的分布式文件系统元数据服务器高可用方案,用于提高存储系统的可用性.系统使用集中式元数据管理服务器,通过日志文件和检查点文件对元数据进行保存;针对系统特点,该方案采用active/hot-standby模式实现元数据服务... 设计并实现了面向对象的分布式文件系统元数据服务器高可用方案,用于提高存储系统的可用性.系统使用集中式元数据管理服务器,通过日志文件和检查点文件对元数据进行保存;针对系统特点,该方案采用active/hot-standby模式实现元数据服务器冗余备份.对系统状态监控、日志及检查点数据同步复制、元数据服务器节点失败接管、防止系统split-brain等关键技术问题进行了深入研究和提出相应解决方法,并对影响系统恢复时间的因素进行了细致分析.测试表明,高可用功能的实现对系统性能影响可以随存储文件的增大而减少,并可在失败发生后的较短时间内完成主从服务器的切换. 展开更多
关键词 高可用 数据 分布式文件系统 复制 失败接管
在线阅读 下载PDF
分布式文件系统的元数据管理方案演变:整体到粒度
4
作者 路垚 段红军 +1 位作者 张利莹 王振飞 《小型微型计算机系统》 北大核心 2025年第2期305-313,共9页
元数据的存取性能对于分布式文件系统至关重要,近年来已成为学术界和工业界研究的热点.早期的分布式文件系统未严格区分元数据和数据管理,导致可扩展性和性能优化方面的挑战.针对此问题,主流分布式文件系统采用元数据和文件数据分离的架... 元数据的存取性能对于分布式文件系统至关重要,近年来已成为学术界和工业界研究的热点.早期的分布式文件系统未严格区分元数据和数据管理,导致可扩展性和性能优化方面的挑战.针对此问题,主流分布式文件系统采用元数据和文件数据分离的架构,以提高系统的可扩展性和效率.然而,随着数据量的进一步增长和对系统性能的不断追求,最新的文件系统开始提出将元数据进一步细化管理的概念.这一趋势意味着系统对元数据的管理将更加精细化和灵活,能够更好地适应不断变化的需求和数据规模.对国内外分布式文件系统元数据管理方案的最新进展进行归纳、比较和分析,并结合国家发展战略和重大应用需求,选取与我国国计民生密切相关的领域,从典型应用分析总结元数据相关技术的行业进展.最后,就未来的技术挑战和研究方向进行展望. 展开更多
关键词 分布式文件系统 数据管理 粒度 可扩展性
在线阅读 下载PDF
一种结合SSD特征的分布式文件系统元数据优化技术 被引量:8
5
作者 罗圣美 陆游游 +3 位作者 秦雄军 杨洪章 张佳程 舒继武 《小型微型计算机系统》 CSCD 北大核心 2018年第5期930-937,共8页
分布式文件系统的元数据性能是制约系统整体性能的关键瓶颈.尽管固态盘(Solid State Drive,SSD)提供高速的数据访问,但是由于元数据呈现粒度小、更新频繁的特征,SSD的性能表现仍然较差,同时导致寿命损耗加速.基于SSD存储介质的写入特性... 分布式文件系统的元数据性能是制约系统整体性能的关键瓶颈.尽管固态盘(Solid State Drive,SSD)提供高速的数据访问,但是由于元数据呈现粒度小、更新频繁的特征,SSD的性能表现仍然较差,同时导致寿命损耗加速.基于SSD存储介质的写入特性,提出了面向分布式文件系统元数据的数据管理机制和更新方法,包括元数据内存页面的重新组织和管理、多次变化数据的迭代更新、元数据写入方式的进一步优化等.所提方法减少了元数据更新的写入频次和实际写入量,减少了随机写操作,提高了元数据写入性能. 展开更多
关键词 固态盘 分布式文件系统 数据 数据管理
在线阅读 下载PDF
自适应的分布式文件系统元数据管理模型 被引量:9
6
作者 程付超 苗放 陈垦 《计算机工程与设计》 CSCD 北大核心 2014年第3期867-874,共8页
为了降低分布式文件系统中元数据的管理成本,解决元数据管理的单点问题,提出一种工作—备份数据集(working-backup dataset,WBD)。将内存区域抽象为数据集,通过数据集操作来实现内存访问,减小了数据同步时内存操作的复杂度。在此基础上... 为了降低分布式文件系统中元数据的管理成本,解决元数据管理的单点问题,提出一种工作—备份数据集(working-backup dataset,WBD)。将内存区域抽象为数据集,通过数据集操作来实现内存访问,减小了数据同步时内存操作的复杂度。在此基础上,设计了一种分布式文件系统元数据管理模型—自适应主从模型(self-adaptation master-slave,SAMS),降低了分布式文件系统中元数据同步造成的性能开销。实验分析结果表明,采用SAMS作为分布式文件系统的元数据管理模型,在维持元数据服务性能的基础上,实现了高容错性和高扩展性。 展开更多
关键词 分布式文件系统 数据 容错性 扩展性 数据模型
在线阅读 下载PDF
蓝鲸分布式文件系统的客户端元数据缓存模型 被引量:1
7
作者 黄华 张建刚 许鲁 《计算机科学》 CSCD 北大核心 2005年第9期243-245,248,共4页
在蓝鲸分布式文件系统中,客户端的所有无数据操作都是通过远程过程调用由元数据服务器完成,所有数据读写都是直接与存储服务器交换完成的。由于通信延迟,在客户端进行频繁数据读写时,元数据信息交换影响了整个系统的性能。我们设计了一... 在蓝鲸分布式文件系统中,客户端的所有无数据操作都是通过远程过程调用由元数据服务器完成,所有数据读写都是直接与存储服务器交换完成的。由于通信延迟,在客户端进行频繁数据读写时,元数据信息交换影响了整个系统的性能。我们设计了一种在客户端尽量缓存文件元数据信息的模型,有效地减少了元数据通信,缩短了整个读写过程的延迟,极大地提高了蓝鲸分布式文件系统的性能。 展开更多
关键词 蓝鲸分布式文件系统 客户端 数据缓存模型 数据服务 存储服务 数据分离
在线阅读 下载PDF
分布式文件系统中元数据操作的优化 被引量:6
8
作者 刘恋 郑彪 龚奕利 《计算机应用》 CSCD 北大核心 2012年第12期3271-3273,共3页
分析了PVFS2中的元数据操作流程,以remove操作为例,通过测试发现其瓶颈之处,提出一种将判断过程放置到服务器端来减少通信次数的优化方法,这些方法同样可以应用于其他元数据操作。在PVFS2中实现了该优化方法,并将其同原来的remove操作... 分析了PVFS2中的元数据操作流程,以remove操作为例,通过测试发现其瓶颈之处,提出一种将判断过程放置到服务器端来减少通信次数的优化方法,这些方法同样可以应用于其他元数据操作。在PVFS2中实现了该优化方法,并将其同原来的remove操作耗时进行了对比,结果表明,该元数据操作的性能提高了10%左右。 展开更多
关键词 分布式文件系统 数据操作 优化处理 PVFS2
在线阅读 下载PDF
面向大数据分析的分布式文件系统关键技术 被引量:77
9
作者 周江 王伟平 +3 位作者 孟丹 马灿 古晓艳 蒋杰 《计算机研究与发展》 EI CSCD 北大核心 2014年第2期382-394,共13页
大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段.信息规模的扩大和数据结构的多样化,使海量数据存储成为大数据分析研究的热点.传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满... 大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段.信息规模的扩大和数据结构的多样化,使海量数据存储成为大数据分析研究的热点.传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求.设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover.该系统采用基于目录划分和一致性Hash映射的名字空间管理方法,解决了元数据扩展性问题;通过改进的两阶段提交协议,保证了多元数据服务器下分布式元数据操作的一致性;提出了基于共享存储池的高可用机制,通过热备和全局状态恢复机制提高了元数据的可靠性.评测结果表明,Clover的元数据处理能力随服务器的数量线性增长,增加单个服务器的元数据操作性能平均提升了5.13%~159.32%.由于名字空间管理和分布式事务的开销,多元数据服务器会导致复杂操作的性能下降,但是这种下降的幅度很小(小于10%).与HDFS相比,Clover的文件读写带宽与之接近,并能够保证在元数据服务器失效后文件系统快速恢复,适合于构建高可扩展和高可用的存储系统. 展开更多
关键词 数据 海量数据存储 分布式文件系统 数据可扩展性 高可用性
在线阅读 下载PDF
高可用并行文件系统的分布式元数据管理 被引量:3
10
作者 李胜利 唐维 +2 位作者 石柯 程斌 蒙廷友 《应用科学学报》 CAS CSCD 北大核心 2005年第3期297-299,共3页
提出一种分布式元数据管理方式,实现了HANDY并行文件系统元数据的高可用,并且使元数据服务器具有动态可扩展性.
关键词 并行文件系统 分布式 高可用 数据管理 HANDY 管理方式 可扩展性 数据服务
在线阅读 下载PDF
碧海文件系统元数据节点的优化与分布式实现
11
作者 李永泽 《小型微型计算机系统》 CSCD 北大核心 2014年第9期1989-1993,共5页
碧海文件系统是横向扩展的大规模分布式文件系统.本文详细描述了碧海文件系统元数据节点的优化与分割方案:通过对目录树进行子树分割,将元数据布局在不同的节点之上;实现了监控节点,能够仲裁元数据节点的状态,收集并分发子树信息,增减... 碧海文件系统是横向扩展的大规模分布式文件系统.本文详细描述了碧海文件系统元数据节点的优化与分割方案:通过对目录树进行子树分割,将元数据布局在不同的节点之上;实现了监控节点,能够仲裁元数据节点的状态,收集并分发子树信息,增减元数据节点集群的规模;优化了多个数据节点与元数据节点的通信模型,避免了重命名操作造成文件数据的移动;设计了分布式节点的事务处理方式,使元数据信息可以高可靠地在不同节点之间移动.测试表明,通过以上的改进,碧海文件系统的扩展性与并发性能有了显著的提升,并且对于重命名之类跨节点的操作,也能较好的支持. 展开更多
关键词 数据管理 子树分割 事务处理 可扩展性 分布式文件系统
在线阅读 下载PDF
一种自适应文件系统元数据服务负载均衡策略 被引量:11
12
作者 佘楚玉 温武少 +2 位作者 肖扬 刘育擘 贾殷 《软件学报》 EI CSCD 北大核心 2017年第8期1952-1967,共16页
随着大数据时代的到来,全球信息存储量呈现爆发式的增长,传统的存储系统在存储性能、存储容量、数据可靠性和成本等方面存在诸多不足.近年来,以云计算平台为依托的存储技术得到了飞速发展,成为处理海量数据的重要工具.针对分布式文件系... 随着大数据时代的到来,全球信息存储量呈现爆发式的增长,传统的存储系统在存储性能、存储容量、数据可靠性和成本等方面存在诸多不足.近年来,以云计算平台为依托的存储技术得到了飞速发展,成为处理海量数据的重要工具.针对分布式文件系统元数据管理的问题,提出了一种自适应元数据服务负载均衡策略.该策略主要包括以下3点内容:介绍了一种实时的元数据服务器的性能评价模型;提出了一种基于服务器负载变化的检测周期自适应调整机制;提出了一种基于元数据服务器性能指标的自适应负载均衡算法.实验结果证明了该方法的可行性、有效性和稳定性. 展开更多
关键词 分布式文件系统 数据管理 自适应 负载均衡 性能评价模型
在线阅读 下载PDF
政府数据服务质量影响因素与提升路径研究——基于元分析与模糊集QCA组合分析
13
作者 黄平平 石乐怡 吴应强 《现代情报》 北大核心 2025年第9期165-176,共12页
[目的/意义]当前关于政府数据服务质量的影响因素尚未形成一致性结论,运用元分析与模糊集QCA组合分析,尝试得出关于政府数据服务质量影响因素的普适性结论,以期为政府数据服务高质量发展提供参考。[方法/过程]通过系统性文献筛选归纳政... [目的/意义]当前关于政府数据服务质量的影响因素尚未形成一致性结论,运用元分析与模糊集QCA组合分析,尝试得出关于政府数据服务质量影响因素的普适性结论,以期为政府数据服务高质量发展提供参考。[方法/过程]通过系统性文献筛选归纳政府数据服务质量影响因素,运用元分析方法揭示不同因素对政府数据服务质量的影响。在此基础上选取中国已上线的22个省级政府数据开放平台作为研究案例,借助模糊集QCA方法探明政府数据服务质量提升的3种组态路径。[结果/结论]研究结果表明,制度支持、个性化服务、准确性、基础设施、便利性、感知价值、用户信任是影响政府数据服务质量的关键要素。制度—信任驱动型、个性化—信任驱动型、制度—个性化驱动型是服务质量提升的组态路径。 展开更多
关键词 政府 数据服务 服务质量 分析 模糊集QCA
在线阅读 下载PDF
基于可变长分块的分布式文件系统设计与实现 被引量:4
14
作者 许艳艳 雷迎春 龚奕利 《计算机工程》 CAS CSCD 北大核心 2016年第5期80-84,101,共6页
分布式文件系统受传统磁盘文件系统影响,大多使用固定大小的对象或者块来组织和管理文件。定长的分块不适合随机写或插入写,开销大且性能差,但典型的用户约有25%的文件操作是随机写。针对上述现状,提出一种基于内容的可变长文件分... 分布式文件系统受传统磁盘文件系统影响,大多使用固定大小的对象或者块来组织和管理文件。定长的分块不适合随机写或插入写,开销大且性能差,但典型的用户约有25%的文件操作是随机写。针对上述现状,提出一种基于内容的可变长文件分块方法,使用拉宾指纹算法对文件进行分块,并根据文件的内容标识文件块。为更准确地指定写类型,提高写性能,给出与POSIX语义兼容的写接口。通过修改Ceph实现一种新的分布式文件系统VarFS,提供文件的可变长分块并支持新的写接口。实验结果表明,由于减少网络数据传输量,VarFS在随机写延迟和带宽消耗量上比Ceph减少了1个~2个数量级。 展开更多
关键词 固定长分块 可变长分块 分布式文件系统 随机写 数据服务
在线阅读 下载PDF
海量存储系统元数据服务器的设计及性能优化 被引量:4
15
作者 汪璐 程耀东 陈刚 《计算机工程》 CAS CSCD 2012年第2期1-3,共3页
设计适用于GRASS海量存储系统的元数据服务器,分析并优化3个影响元数据性能的因素:元数据组织方式,通信性能和搜索效率,利用Bloom Filter算法进行名字空间搜索,在此基础上实现目标系统的文件名查询优化。实验结果证明,目标系统的元数据... 设计适用于GRASS海量存储系统的元数据服务器,分析并优化3个影响元数据性能的因素:元数据组织方式,通信性能和搜索效率,利用Bloom Filter算法进行名字空间搜索,在此基础上实现目标系统的文件名查询优化。实验结果证明,目标系统的元数据处理性能得到明显提升,基本满足大规模高能物理计算的需求。 展开更多
关键词 海量存储系统 高能物理计算 数据服务 数据搜索 BLOOM Filter算法
在线阅读 下载PDF
基于目录迁移与复制的元数据服务系统动态负载均衡策略
16
作者 毕鹏飞 马良荔 李刚 《计算机应用与软件》 CSCD 北大核心 2012年第5期178-180,198,共4页
传统的基于状态的元数据服务系统负载均衡策略通常采用目录迁移策略来达到均衡的目的,然而这种策略易使系统进入新的不均衡状态而产生"抖动"现象。提出一种将目录迁移与目录复制相结合的元数据服务系统动态负载均衡策略,有效... 传统的基于状态的元数据服务系统负载均衡策略通常采用目录迁移策略来达到均衡的目的,然而这种策略易使系统进入新的不均衡状态而产生"抖动"现象。提出一种将目录迁移与目录复制相结合的元数据服务系统动态负载均衡策略,有效解决了传统的单一利用目录迁移来进行负载均衡容易造成"抖动"的缺陷,提高了系统的效率和稳定性。 展开更多
关键词 负载均衡 数据服务系统 目录迁移 目录复制
在线阅读 下载PDF
气象数据文件快速下载服务系统的设计与实现 被引量:18
17
作者 高峰 王国复 +3 位作者 喻雯 冯明农 孙超 罗琦 《应用气象学报》 CSCD 北大核心 2010年第2期243-249,共7页
有效地为专业和业务用户提供快速批量下载气象数据服务,需要一种新型数据服务系统,以弥补现有气象数据共享服务系统的不足。该文在分析气象资料服务系统发展阶段和技术特点的基础上,根据业务需求设计了一个基于元数据技术的、针对专业... 有效地为专业和业务用户提供快速批量下载气象数据服务,需要一种新型数据服务系统,以弥补现有气象数据共享服务系统的不足。该文在分析气象资料服务系统发展阶段和技术特点的基础上,根据业务需求设计了一个基于元数据技术的、针对专业和业务用户的、能快速批量下载数据的新型气象资料服务系统。该系统基于前台应用系统和后台管理系统实现了批量下载、文件目录导航、数据同步更新、多线程断点续传、安全管理和灵活配置等功能。该系统是对气象资料服务方式的一种全新设计,系统发布后得到专业用户的肯定,具有广泛的推广价值,对气象数据服务系统的技术开发有较好的参考作用。 展开更多
关键词 数据服务 数据 目录浏览 增量同步
在线阅读 下载PDF
数字城市元数据服务体系的研究和实践 被引量:14
18
作者 王浒 李琦 承继成 《北京大学学报(自然科学版)》 CAS CSCD 北大核心 2004年第1期107-115,共9页
元数据是数字地球的 6大关键技术之一 ,也是数字城市建设和实施的重点内容。基于Web服务技术和标准的研究 ,提出在数字城市的分布异构的网络环境下构建元数据服务体系的技术框架。结合在“数字北京”建设中的元数据服务体系建设的实践 ... 元数据是数字地球的 6大关键技术之一 ,也是数字城市建设和实施的重点内容。基于Web服务技术和标准的研究 ,提出在数字城市的分布异构的网络环境下构建元数据服务体系的技术框架。结合在“数字北京”建设中的元数据服务体系建设的实践 ,详细阐述元数据服务体系的构建 ,指出基于Web服务的元数据服务体系的建设将对数字城市信息资源的组织、管理和共享具有重要现实意义。 展开更多
关键词 数据服务体系 数字城市 数字北京 WEB服务 可持续发展
在线阅读 下载PDF
国外高校图书馆科学数据的元数据服务研究 被引量:18
19
作者 黄鑫 邓仲华 《图书与情报》 CSSCI 北大核心 2017年第2期84-90,共7页
文章使用文献调研法,介绍了元数据服务研究现状,总结了元数据在科学数据管理中的多方面应用。同时以部分欧美高校图书馆为例,从元数据的介绍服务、创建服务、咨询服务和培训服务四个角度探讨了国外高校图书馆科学数据的元数据服务内容。
关键词 科学数据 科学数据服务 数据:数据服务
在线阅读 下载PDF
构建数字城市的元数据服务体系 被引量:2
20
作者 王浒 李琦 +1 位作者 董宝青 李浩川 《计算机科学》 CSCD 北大核心 2003年第8期85-87,107,共4页
Metadata is one of the six key technologies of Digital Earth,which is also an important aspect in buildingand implementing the Digital City. Based on the technologies and standards of Web Services ,the author came up ... Metadata is one of the six key technologies of Digital Earth,which is also an important aspect in buildingand implementing the Digital City. Based on the technologies and standards of Web Services ,the author came up witha metadata services architecture in the distributed heterogeneous network environment of Digital City. In this paper,the metadata services architecture is described and explained in detail,including the related standards,technologies,that,based on the Web service,to build the metadata service architecture will be practically meaningful for organizing,managing and sharing the information resources in Digital City. 展开更多
关键词 数字城市 数据服务体系 城市可持续发展 标准化
在线阅读 下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部