检索结果-维普期刊中文期刊服务平台

一种P2P环境下分布式文件存储系统的缓存策略被引量：7: 1; 作者高伟韩华代亚非《计算机工程与应用》 CSCD 北大核心 2004年第30期45-48,84,共5页; 在分布式文件存储系统中,缓存技术被广泛用于提高系统性能。论文针对P2P环境下分布式文件存储系统的特点,提出了一种兼顾用户访问效率和复本一致性的灵活的缓存策略,不同于目前已经存在的P2P存储系统,论文使用“阀值”来将文件区分为热... 展开更多; 关键词缓存 P2P 分布式文件存储系统阀值日志记录驱动模拟; 在线阅读下载PDF 职称材料

分布式文件存储系统性能测试问题研究被引量：1: 2; 作者岳斌代亚非韩华《计算机工程与应用》 CSCD 北大核心 2003年第22期56-58,112,共4页; 分布式文件存储系统的性能测试不同于普通的文件系统性能测试。首先,需要根据系统支持的操作确定测试的benchmark,然后,需要根据系统的设计规模对多用户并发访问系统的情形进行模拟。在“燕星”分布式文件存储系统的性能测试中,对Andrew... 展开更多; 关键词分布式文件存储系统性能测试 BENCHMARK RMI CALLBACK; 在线阅读下载PDF 职称材料

一种不依赖访问热度信息的分布式文件放置算法被引量：2: 3; 作者薛弘晔田治武 +2 位作者罗香玉冯健王丹《科学技术与工程》北大核心 2018年第2期285-289,共5页; 文件放置问题一直是分布式存储领域的研究热点。分布式文件存储系统HDFS随机选择节点完成文件放置,存在访问负载分布不均衡的缺点。研究人员提出大量基于文件访问热度信息的放置算法;但是,文件的访问热度信息是动态变化的,难以准确预测... 展开更多; 关键词分布式文件存储系统文件访问热度文件放置负载均衡; 在线阅读下载PDF 职称材料

煤矿信息物理系统场景感知自配置与优化策略研究被引量：13: 4; 作者李敬兆宫华强《煤炭科学技术》 CAS CSCD 北大核心 2019年第4期20-25,共6页; 针对煤矿信息物理系统(CPS)场景感知信息多源、异构、量多等问题,导致煤矿物联网建设困难的现状,提出了一种基于云服务、边缘计算和WSN等技术的煤矿信息物理系统场景感知自配置系统。利用边缘计算的规则计算、函数计算、消息路由和断网... 展开更多; 关键词信息物理系统场景感知云服务边缘计算分布式文件存储系统煤矿智能化; 在线阅读下载PDF 职称材料

云计算数据中心HDFS差异性存储节能优化算法被引量：29: 5; 作者杨挺王萌 +2 位作者张亚健赵英杰盆海波《计算机学报》 EI CSCD 北大核心 2019年第4期721-735,共15页; 摘要在云计算的基础设施———数据中心内,Hadoop分布式文件存储系统(Hadoop Distributed File System,HDFS)以高容错性、高可靠性、高可扩展性的优势被广泛使用.但HDFS中遵循机架感知的存储策略没有考虑数据间的差异性和使用频度,所有... 展开更多; 关键词云计算数据中心分布式文件存储系统节省能量超图 κ横贯; 在线阅读下载PDF 职称材料

基于Hadoop的海量气象水文数据并发处理模型被引量：10: 6; 作者李辉王建文叶明雯《计算机应用》 CSCD 北大核心 2018年第A02期187-191,205,共6页; 针对关系型数据库以及单节点处理难以满足海量气象水文数据存储与处理的问题,提出了一种基于Hadoop的海量气象水文数据并发处理模型(CPHDH)。该模型结合云计算技术,利用计算机集群以及HDFS文件系统实现海量气象水文数据的分布式存储;同... 展开更多; 关键词海量气象水文数据 HADOOP 分布式文件存储系统 MAPREDUCE 并发处理; 在线阅读下载PDF 职称材料

基于Spark大数据处理框架的逆时偏移成像技术研究被引量：8: 7; 作者蒋楠《石油物探》 EI CSCD 北大核心 2020年第4期564-571,共8页; 基于双程波动方程的逆时偏移成像技术是当前高精度地震偏移成像的主流手段,可实现地下复杂构造的精确成像。近年来,随着高密度地震采集技术的不断发展,日益增长的海量地震数据对偏移成像过程中数据的存储和高效计算提出了更高的要求。... 展开更多; 关键词逆时偏移 SPARK 高效计算海量数据分布式文件存储系统; 在线阅读下载PDF 职称材料

题名一种P2P环境下分布式文件存储系统的缓存策略被引量：7: 1; 作者高伟韩华代亚非; 机构北京大学计算机科学与技术系; 出处《计算机工程与应用》 CSCD 北大核心 2004年第30期45-48,84,共5页; 基金国家863高科技研究发展计划资助项目(编号:2001AA111013); 文摘在分布式文件存储系统中,缓存技术被广泛用于提高系统性能。论文针对P2P环境下分布式文件存储系统的特点,提出了一种兼顾用户访问效率和复本一致性的灵活的缓存策略,不同于目前已经存在的P2P存储系统,论文使用“阀值”来将文件区分为热点文件和非热点文件,并且只针对热点文件来做缓存,根据缓存空间的使用效率和不同的文件类型来设置不同的阀值使得缓存策略灵活而有效,论文对该策略进行了理论上的分析,然后通过Trace-Driven模拟的方法验证了该策略的可行性。; 关键词缓存 P2P 分布式文件存储系统阀值日志记录驱动模拟; Keywords cache,Peer-to-Peer,distribute file system,threshold value,trace-driven simulation; 分类号 TP393 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名分布式文件存储系统性能测试问题研究被引量：1: 2; 作者岳斌代亚非韩华; 机构北京大学计算机系; 出处《计算机工程与应用》 CSCD 北大核心 2003年第22期56-58,112,共4页; 基金国家863高科技研究发展计划资助项目(编号:2001AA111013); 文摘分布式文件存储系统的性能测试不同于普通的文件系统性能测试。首先,需要根据系统支持的操作确定测试的benchmark,然后,需要根据系统的设计规模对多用户并发访问系统的情形进行模拟。在“燕星”分布式文件存储系统的性能测试中,对Andrewbenchmark进行改造,确定了测试的benchmark;基于RMIcallback机制,模拟了500个用户并发访问系统的情形。并将测试结果与NFS进行了对比,结果表明,“燕星”系统具有良好的实用性能。; 关键词分布式文件存储系统性能测试 BENCHMARK RMI CALLBACK; Keywords distributed file storage system,performance test,benchmark,RMI callback; 分类号 TP302 [自动化与计算机技术—计算机系统结构]; 在线阅读下载PDF 职称材料

题名一种不依赖访问热度信息的分布式文件放置算法被引量：2: 3; 作者薛弘晔田治武罗香玉冯健王丹; 机构西安科技大学计算机科学与技术学院; 出处《科学技术与工程》北大核心 2018年第2期285-289,共5页; 基金西安科技大学博士启动基金(2015QDJ031) 陕西省教育厅专项科学研究计划项目(15JK1468)资助; 文摘文件放置问题一直是分布式存储领域的研究热点。分布式文件存储系统HDFS随机选择节点完成文件放置,存在访问负载分布不均衡的缺点。研究人员提出大量基于文件访问热度信息的放置算法;但是,文件的访问热度信息是动态变化的,难以准确预测。提出一种不依赖访问热度信息的分布式文件放置算法;该算法仅使用文件的创建时间信息,利用文件已创建时间与访问热度之间的相关性,首先将时间进行区间划分,然后统计出各节点在不同时间区间内所创建文件的数据量,放置过程中保持同一时间区间的数据量在不同节点间大致相同。实验结果表明,该算法不仅可以使各节点的存储负载达到均衡,还能够提升访问负载的均衡,消除因文件访问热度不均而导致的性能瓶颈。; 关键词分布式文件存储系统文件访问热度文件放置负载均衡; Keywords distr ibuted f i le storage system f i le p o pu lar ity f i le placement load balance; 分类号 TP311.12 [自动化与计算机技术—计算机软件与理论]; 在线阅读下载PDF 职称材料

题名煤矿信息物理系统场景感知自配置与优化策略研究被引量：13: 4; 作者李敬兆宫华强; 机构安徽理工大学电气与信息工程学院; 出处《煤炭科学技术》 CAS CSCD 北大核心 2019年第4期20-25,共6页; 基金国家自然科学基金资助项目(51874010) 重大创新平台及高校创新人才团队 +1 种基金矿山巡检机器人非线性多智能体协同控制策略研究资助项目(2018IRS16); 文摘针对煤矿信息物理系统(CPS)场景感知信息多源、异构、量多等问题,导致煤矿物联网建设困难的现状,提出了一种基于云服务、边缘计算和WSN等技术的煤矿信息物理系统场景感知自配置系统。利用边缘计算的规则计算、函数计算、消息路由和断网续传等功能实现煤矿场景信息本地处理,结合云服务的资源管理和调度等优势来优化煤矿场景感知信息管理,提升煤矿场景感知的实时性和系统性,实现对自配置系统的优化,并利用WSN技术与煤矿有线感知技术相结合的方式,扩大煤矿场景感知的覆盖面,保障信息传输的可靠性,同时利用分布式文件存储系统和区块链的信息保护特性,保障煤矿生产信息存储安全。煤矿信息物理系统场景感知自配置的实现对提高煤矿生产的智能化水平和安全性具有重要的作用。; 关键词信息物理系统场景感知云服务边缘计算分布式文件存储系统煤矿智能化; Keywords cyber-physical system scene perception cloud service edge computing distributed file storage system mine intelligence; 分类号 TD67 [矿业工程—矿山机电]; 在线阅读下载PDF 职称材料

题名云计算数据中心HDFS差异性存储节能优化算法被引量：29: 5; 作者杨挺王萌张亚健赵英杰盆海波; 机构天津大学电气自动化与信息工程学院; 出处《计算机学报》 EI CSCD 北大核心 2019年第4期721-735,共15页; 基金国家自然科学基金(61571324) 天津市自然科学基金重点项目(16JCZDJC30900) 国家国际科技合作专项(2013DFA11040)资助~~; 文摘摘要在云计算的基础设施———数据中心内,Hadoop分布式文件存储系统(Hadoop Distributed File System,HDFS)以高容错性、高可靠性、高可扩展性的优势被广泛使用.但HDFS中遵循机架感知的存储策略没有考虑数据间的差异性和使用频度,所有数据以相同副本数复制后分散存储在不同的DataNode节点中,这势必会开启过多的DataNode而导致数据中心能耗过高.针对这一问题,突破现有HDFS对数据块的恒定副本个数存储的限制,提出保证数据块可用性的可变副本存储策略.建立了分布式文件存储超图模型,数学表述了数据块、文件和DataNode间的多对多关系.基于模型提出一种■横贯超边计算方法实现数据中心HDFS可变■重极小覆盖集选择,从而确定保证数据可用性的最小数量DataNode开启集合,实现数据中心存储单元节能.在原问题的可行域中会存在多个最优解的情况,即在满足数据块■覆盖的条件下,存在开启DataNode数目最少且相等的多种方案,因此该问题是一个多态函数优化问题,该文提出采用贪心萤火虫算法加以求解.算法性能测试实验通过Hadoop环境下的WordCount、TeraSort和Grep三种典型计算实例运算实验,进行了数据可用性实验,HDFS集群存储负载均衡实验,集群能耗分析以及数据中心网络性能试验.实验结果表明,可变■数据副本最小覆盖集算法在保证数据块和文件可用的条件下,可以实现更少的DataNode开启,有效节省HDFS集群能耗,并且通过开启DataNode的合理配置,缓解了网络传输拥塞.; 关键词云计算数据中心分布式文件存储系统节省能量超图 κ横贯; Keywords cloud data center distributed file storage system energy-saving hypergraph κ-transverse; 分类号 TP393 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名基于Hadoop的海量气象水文数据并发处理模型被引量：10: 6; 作者李辉王建文叶明雯; 机构解放军国防大学解放军; 出处《计算机应用》 CSCD 北大核心 2018年第A02期187-191,205,共6页; 文摘针对关系型数据库以及单节点处理难以满足海量气象水文数据存储与处理的问题,提出了一种基于Hadoop的海量气象水文数据并发处理模型(CPHDH)。该模型结合云计算技术,利用计算机集群以及HDFS文件系统实现海量气象水文数据的分布式存储;同时,基于MapReduce编程框架完成海量气象水文数据的高效并行处理。仿真实验中,CPHDH能够有效利用Hadoop平台的分布式存储和并行处理框架实现海量降雨要素信息的高效存储和处理,相比单机运行基于遗传算法的气象观测数据区间值属性约简算法(MOIvGA)进行降水影响因子属性约简,CPHDH中的属性子集对无雨、小雨和中雨预测效率分别提高了10. 74%、6. 19%、4. 42%。; 关键词海量气象水文数据 HADOOP 分布式文件存储系统 MAPREDUCE 并发处理; Keywords massive meteorological hydrological data Hadoop Hadoop Distributed File System(HDFS) MapReduce concurrent processing; 分类号 TP311 [自动化与计算机技术—计算机软件与理论]; 在线阅读下载PDF 职称材料

题名基于Spark大数据处理框架的逆时偏移成像技术研究被引量：8: 7; 作者蒋楠; 机构中国石油化工集团有限公司信息和数字化管理部; 出处《石油物探》 EI CSCD 北大核心 2020年第4期564-571,共8页; 基金国家重点研发计划(2017YFC0602804-02) 国家科技重大专项(2016ZX05014-001-002)共同资助。; 文摘基于双程波动方程的逆时偏移成像技术是当前高精度地震偏移成像的主流手段,可实现地下复杂构造的精确成像。近年来,随着高密度地震采集技术的不断发展,日益增长的海量地震数据对偏移成像过程中数据的存储和高效计算提出了更高的要求。提出了一种基于Spark大数据处理框架的逆时偏移成像技术,该技术充分利用了Spark框架分布式内存计算及其分布式文件存储系统支持海量数据读写的优势。采用数据均衡服务实现了分布式存储数据的均衡分布并利用数据动态分块算法实现了计算资源的充分利用和并行粒度的合理分配,从而保证了并行作业的负载均衡。与MPI及MapReduce两种并行方式下的实际数据偏移测试对比分析结果表明,所提出的基于Spark大数据处理框架的逆时偏移成像技术能够在保证成像精度的前提下实现计算效率的提升并满足海量数据存储的要求。; 关键词逆时偏移 SPARK 高效计算海量数据分布式文件存储系统; Keywords Reverse time migration Spark efficient computing massive data distributed storage system; 分类号 P631 [天文地球—地质矿产勘探]; 在线阅读下载PDF 职称材料

	题名	作者	出处	发文年	被引量	操作
1	一种P2P环境下分布式文件存储系统的缓存策略	高伟韩华代亚非	《计算机工程与应用》 CSCD 北大核心	2004	7	在线阅读下载PDF 职称材料
2	分布式文件存储系统性能测试问题研究	岳斌代亚非韩华	《计算机工程与应用》 CSCD 北大核心	2003	1	在线阅读下载PDF 职称材料
3	一种不依赖访问热度信息的分布式文件放置算法	薛弘晔田治武罗香玉冯健王丹	《科学技术与工程》北大核心	2018	2	在线阅读下载PDF 职称材料
4	煤矿信息物理系统场景感知自配置与优化策略研究	李敬兆宫华强	《煤炭科学技术》 CAS CSCD 北大核心	2019	13	在线阅读下载PDF 职称材料
5	云计算数据中心HDFS差异性存储节能优化算法	杨挺王萌张亚健赵英杰盆海波	《计算机学报》 EI CSCD 北大核心	2019	29	在线阅读下载PDF 职称材料
6	基于Hadoop的海量气象水文数据并发处理模型	李辉王建文叶明雯	《计算机应用》 CSCD 北大核心	2018	10	在线阅读下载PDF 职称材料
7	基于Spark大数据处理框架的逆时偏移成像技术研究	蒋楠	《石油物探》 EI CSCD 北大核心	2020	8	在线阅读下载PDF 职称材料