期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到251篇文章
< 1 2 … 13 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
面向混合专家模型的流行专家预取策略 被引量：1
1
作者 叶进 李温良 +1 位作者 余天添 彭涯军 《小型微型计算机系统》 北大核心 2025年第7期1760-1766,共7页
在混合专家模型训练中,引入专家并行可以有效减轻单节点的内存压力并提高模型性能.然而,专家并行训练存在因令牌(Token)频繁跨节点传输及节点间负载不均衡而导致的高通信开销问题.针对此问题,本文提出了一种基于流行度的预取专家策略(Pr... 在混合专家模型训练中,引入专家并行可以有效减轻单节点的内存压力并提高模型性能.然而,专家并行训练存在因令牌(Token)频繁跨节点传输及节点间负载不均衡而导致的高通信开销问题.针对此问题,本文提出了一种基于流行度的预取专家策略(Prefetch Expert, PE).该策略根据专家的流行度智能预测并提前拉取当前训练所需的专家,以提高训练效率.此外,针对预取不成功的情况,PE策略引入了一种异步拉取机制,允许专家计算的同时进行其他专家的拉取操作,实现专家间通信与计算的重叠,有效降低由网络争用引起的通信延迟.在CIFAR-100、WikiText-103和SQUAD数据集上的大规模实验表明,较对比方案,采用PE策略能够使主流深度学习模型的收敛时间至少减少30%. 展开更多
关键词 专家并行 通信开销 专家流行度 专家预取 深度学习
在线阅读 下载PDF
处理器数据预取器安全研究综述
2
作者 刘畅 黄祺霖 +4 位作者 刘煜川 林世鸿 秦中元 陈立全 吕勇强 《电子与信息学报》 北大核心 2025年第9期3038-3056,共19页
数据预取器是现代处理器用于提高性能的重要微架构组件。然而,由于在设计之初缺乏系统性的安全评估与考量,主流商用处理器中的预取器近年来被揭示出存在严重安全隐患,已被用于针对浏览器、操作系统和可信执行环境的侧信道攻击。面对这... 数据预取器是现代处理器用于提高性能的重要微架构组件。然而,由于在设计之初缺乏系统性的安全评估与考量,主流商用处理器中的预取器近年来被揭示出存在严重安全隐患,已被用于针对浏览器、操作系统和可信执行环境的侧信道攻击。面对这类新型微架构攻击,处理器安全研究亟需解决以下关键问题:如何系统性地分析攻击方法,全面认识预取器潜在风险,量化评估预取器安全程度,从而设计更加安全的数据预取器。为解决这些问题,该文系统调研了商用处理器中已知预取器设计及相关侧信道攻击,通过提取内存访问模式,为7种预取器建立行为模型,并基于此为20种侧信道攻击建立攻击模型,系统整理了各类攻击的触发条件和泄露信息,并分析可能存在的其他攻击方法。在此基础上,该文提出1套包含3个维度和24个指标的安全性评估体系,为数据预取器的安全性提供全面量化评估。最后,该文深入探讨了防御策略、安全预取器设计思路及未来研究方向。作为首篇聚焦于商用处理器数据预取器安全问题的综述性文章,该文有助于深入了解数据预取器面临的安全挑战,推动预取器的安全性量化评估体系构建,从而为设计更加安全的数据预取器提供指导。 展开更多
关键词 计算机体系结构 处理器 数据预取器 微架构安全 侧信道攻击
在线阅读 下载PDF
深度学习在多核缓存预取中的应用研究综述
3
作者 张建勋 乔欣雨 林炳辉 《计算机应用研究》 CSCD 北大核心 2024年第2期341-347,共7页
当前人工智能技术应用于系统结构领域的研究前景广阔,特别是将深度学习应用于多核架构的数据预取研究已经成为国内外的研究热点。针对基于深度学习的缓存预取任务进行了研究,形式化地定义了深度学习缓存预取模型。在介绍当前常见的多核... 当前人工智能技术应用于系统结构领域的研究前景广阔,特别是将深度学习应用于多核架构的数据预取研究已经成为国内外的研究热点。针对基于深度学习的缓存预取任务进行了研究,形式化地定义了深度学习缓存预取模型。在介绍当前常见的多核缓存架构和预取技术的基础上,全面分析了现有基于深度学习的典型缓存预取器的设计思路。深度学习神经网络在多核缓存预取领域的应用主要采用了深度神经网络、循环神经网络、长短期记忆网络和注意力机制等机器学习方法,综合对比分析现有基于深度学习的数据预取神经网络模型后发现,基于深度学习的多核缓存预取技术在计算成本、模型优化和实用性等方面还存在着局限性,未来在自适应预取模型以及神经网络预取模型的实用性方面还有很大的研究探索空间和发展前景。 展开更多
关键词 深度学习 数据预取 多核架构 缓存优化 神经网络 研究综述
在线阅读 下载PDF
一种用于软件预取的访存轨迹采样算法
4
作者 刘大兴 顾乃杰 +2 位作者 黄章进 苏俊杰 齐东升 《计算机工程》 CAS CSCD 北大核心 2024年第10期362-369,共8页
软件预取作为提升数据存取性能的一种重要技术,得到了广泛的关注和应用。在软件预取的研究中,往往需要使用访存轨迹分析结合采样算法来筛选出存在缓存未命中的访存指令作为预取目标。然而,传统的迸发采样算法无法区分不同类型的轨迹信息... 软件预取作为提升数据存取性能的一种重要技术,得到了广泛的关注和应用。在软件预取的研究中,往往需要使用访存轨迹分析结合采样算法来筛选出存在缓存未命中的访存指令作为预取目标。然而,传统的迸发采样算法无法区分不同类型的轨迹信息,且容易遗漏访问次数较少的指令。针对以上问题,提出一种基于单遍聚类和分层采样的访存轨迹采样算法。首先提取访存轨迹信息特征;然后利用单遍聚类方法并依据特征相似程度进行访存信息聚类;最后以聚类为基础进行分层采样,根据缓存未命中率对轨迹中不同的部分合理分配注意力来调整采样比,有效缓解了规模较小类别的采样遗漏情况。实验结果显示,在选择的8个测试程序上,相比于传统迸发采样算法,所提算法可平均多覆盖15.70%的缓存未命中指令,基于所提算法的预取平均可额外减少20.76%的缓存未命中数和3.51%的程序运行时间。 展开更多
关键词 分层采样 访存轨迹 软件预取 迸发采样 单遍聚类
在线阅读 下载PDF
基于路径预取的树型索引查询优化
5
作者 来逸瑞 李永坤 许胤龙 《计算机应用研究》 CSCD 北大核心 2024年第10期3093-3099,共7页
在树型内存索引的研究过程中,由于传统的片上预取不能适应索引的局部性,导致访存成为该类型内存索引的性能瓶颈。提出了一种基于软件层面的路径预取算法,使用预取加速内存索引的访问,并使得该算法可以快速部署到现实机器上。该算法基于... 在树型内存索引的研究过程中,由于传统的片上预取不能适应索引的局部性,导致访存成为该类型内存索引的性能瓶颈。提出了一种基于软件层面的路径预取算法,使用预取加速内存索引的访问,并使得该算法可以快速部署到现实机器上。该算法基于对树型索引访存流程的分析,通过预取表保存键与索引访问路径的关系,通过基于键切片哈希的匹配算法对预取表中的数据进行匹配,显著提高了索引性能。在当前较为先进的树型内存索引上实现了该算法并进行了实验评估,结果表明该算法在不同数据量和读写混合负载下提升了索引器的访问性能。因此,基于路径预取的算法可以有效加速树型内存索引的访存速度,提升索引器性能。 展开更多
关键词 内存索引 预取 缓存 内存层次结构
在线阅读 下载PDF
基于行内局部性的内存控制器端预取
6
作者 周叔欣 张见齐 +1 位作者 王焕东 章隆兵 《高技术通讯》 CAS 北大核心 2024年第3期248-255,共8页
本文提出一种基于行内局部性的内存控制器端预取。采用位图的数据结构记录行内每个数据块的状态;并且对每一行进行区域划分,量化每个区域的访问局部性;根据区域内的局部性高低决定预取的激进程度。对于局部性较低的区域,预取区域内未被... 本文提出一种基于行内局部性的内存控制器端预取。采用位图的数据结构记录行内每个数据块的状态;并且对每一行进行区域划分,量化每个区域的访问局部性;根据区域内的局部性高低决定预取的激进程度。对于局部性较低的区域,预取区域内未被访问过的数据块;对于局部性较高的区域,同时采用跨区域的预取。通过动态调整区域规模的大小来适应局部性程度的变化。上述预取方法在龙芯3A6000处理器上实现并评测,评测程序采用SPEC CPU2006访存密集型应用。评测结果显示本文的预取方法将每周期指令数(IPC)平均提升6.51%,将单线程IPC最高提升46.80%(bwaves),将双核四线程IPC最高提升26.22%(lbm)。 展开更多
关键词 内存控制器 预取 局部性
在线阅读 下载PDF
Graph4Cache:一种用于缓存预取的图神经网络模型 被引量：1
7
作者 尚晶 武智晖 +1 位作者 肖智文 张逸飞 《计算机研究与发展》 EI CSCD 北大核心 2024年第8期1945-1956,共12页
大多数计算系统利用缓存来减少数据访问时间,加快数据处理并平衡服务负载.缓存管理的关键在于确定即将被加载到缓存中或从缓存中丢弃的合适数据,以及进行缓存置换的合适时机,这对于提高缓存命中率至关重要.现有的缓存方案面临2个问题:... 大多数计算系统利用缓存来减少数据访问时间,加快数据处理并平衡服务负载.缓存管理的关键在于确定即将被加载到缓存中或从缓存中丢弃的合适数据,以及进行缓存置换的合适时机,这对于提高缓存命中率至关重要.现有的缓存方案面临2个问题:在实时的、在线的缓存场景下难以洞察用户访问数据的热度信息,以及忽略了数据访问序列之间复杂的高阶信息.提出了一个基于GNN的缓存预取网络Graph4Cache.通过将单个访问序列建模为有向图(ASGraph),并引入虚拟节点聚合图中所有节点的信息和表示整个序列.然后由ASGraph的虚拟节点构造一个跨序列无向图(CSGraph)来学习跨序列特征,这极大地丰富了单个序列中有限的数据项转换模式.通过融合这2种图结构的信息,学习到了序列之间的高阶关联信息,并获取了丰富的用户意图.在多个公共数据集上的实验结果证明了该方法的有效性.Graph4Cache在P@20和MRR@20上均优于现有的缓存预测算法. 展开更多
关键词 图神经网络 缓存预取 访问序列图 跨序列图 缓存预测
在线阅读 下载PDF
基于RAID的适度贪婪并行预取技术 被引量：2
8
作者 吴志刚 冯丹 张江陵 《计算机工程》 CAS CSCD 北大核心 2003年第18期164-165,176,共3页
Prefetching(预取)技术是在计算机体系设计中为提高系统性能而通常采用的一项重要技术。在RAID(廉价冗余磁盘阵列)系统中采用有效的预取技术可以缩短主机读请求的平均响应时间，提高磁盘阵列的数据吞吐率。在分析了一些主要应用模型的... Prefetching(预取)技术是在计算机体系设计中为提高系统性能而通常采用的一项重要技术。在RAID(廉价冗余磁盘阵列)系统中采用有效的预取技术可以缩短主机读请求的平均响应时间，提高磁盘阵列的数据吞吐率。在分析了一些主要应用模型的数据请求特性的基础上，实现了一种适度贪婪的并行预取算法，实验证明该预取技术对主机的连续大量数据读请求是十分有效的。 展开更多
关键词 磁盘阵列 缓存 预取 命中率 prefetching技术 RAID
在线阅读 下载PDF
Web预取技术综述 被引量：19
9
作者 班志杰 古志民 金瑜 《计算机研究与发展》 EI CSCD 北大核心 2009年第2期202-210,共9页
Web预取是减少用户访问延时、提高网络服务质量的关键技术之一,近年来已成为国内外的研究热点.通过利用WWW访问的空间局部性,Web预取使缓存机制从时间局部性向空间局部性扩展.归纳了Web预取技术的分类,概括和比较了不同类别的优势和局限... Web预取是减少用户访问延时、提高网络服务质量的关键技术之一,近年来已成为国内外的研究热点.通过利用WWW访问的空间局部性,Web预取使缓存机制从时间局部性向空间局部性扩展.归纳了Web预取技术的分类,概括和比较了不同类别的优势和局限性,给出了预取模型的基本框架及每部分的主要功能,并对各种评价标准进行了详细介绍.同时,深入分析和探讨了现有的几种典型预取算法,系统地比较了这些算法的优缺点.最后从在线性、协作预取、动态流行度、划分用户会话和基于语义与基于路径相结合等方面指出了Web预取技术的研究方向. 展开更多
关键词 WEB预取 WEB缓存 预取控制 PPM 数据挖掘
在线阅读 下载PDF
分布式文件系统元数据服务的负载均衡框架 被引量：17
10
作者 孙耀 刘杰 +1 位作者 叶丹 钟华 《软件学报》 EI CSCD 北大核心 2016年第12期3192-3207,共16页
请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,... 请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性. 展开更多
关键词 元数据服务器 分布式文件系统 负载均衡 预取 缓存
在线阅读 下载PDF
移动环境下支持实时事务处理的数据预取 被引量：8
11
作者 李国徽 杨兵 +1 位作者 陈辉 杜建强 《计算机学报》 EI CSCD 北大核心 2008年第10期1841-1847,共7页
随着移动通信技术的迅速发展,人们提出了新的应用要求:在移动环境下处理实时事务.而移动通信带宽有限性引起较大的数据访问延迟,有时甚至由于网络传输的断接使得事务得不到所需要的数据,数据预取能够很好地解决这个问题.已有的移动环境... 随着移动通信技术的迅速发展,人们提出了新的应用要求:在移动环境下处理实时事务.而移动通信带宽有限性引起较大的数据访问延迟,有时甚至由于网络传输的断接使得事务得不到所需要的数据,数据预取能够很好地解决这个问题.已有的移动环境下数据预取没有考虑到数据的流行性和事务的时间特性.该文分析影响实时事务数据预取的因素,首先考虑数据易变性、活跃性等因素,获得高价值预取数据集合;然后考虑访问预取数据的事务优先级、数据流行性等因素,构造预取数据的选择函数,通过该函数在前面选取的集合中筛选出对满足实时事务截止期更有价值的数据对象进行预取.实验表明,该数据预取策略能降低移动实时事务满足截止期的比率,更好地支持移动实时事务处理. 展开更多
关键词 数据预取 移动实时事务 缓存失效 预取策略
在线阅读 下载PDF
Web智能代理的预取技术和缓存技术 被引量：5
12
作者 赵政 张钢 +2 位作者 杨洁 王松 舒炎泰 《天津大学学报（自然科学与工程技术版）》 EI CAS CSCD 北大核心 2001年第5期563-567,共5页
针对同一个工作组中成员可能对 Web有相似的兴趣点和访问习惯问题 ,研究了主要包括缓存和预取两个部分的智能代理技术 ;研究了代理缓存三种替换算法 :L RU和 L RU的两种变种 .仿真试验表明 ,L RU算法的命中率极差 ,将 L RU的两种变种相... 针对同一个工作组中成员可能对 Web有相似的兴趣点和访问习惯问题 ,研究了主要包括缓存和预取两个部分的智能代理技术 ;研究了代理缓存三种替换算法 :L RU和 L RU的两种变种 .仿真试验表明 ,L RU算法的命中率极差 ,将 L RU的两种变种相结合则是一种较好的方案 .通过引入预测算法和门限算法 ,代理服务器可以预测最近将要访问到的页面 ,并在客户实际请求提出之前有选择地下载 .因为单个客户访问某个页面的历史次数往往不够多 ,将预测算法放在代理服务器上比放在客户端的预测概率更准确 .通过在代理服务器上实现缓存和预取技术 ,可减少用户访问 Web的响应时间 ,还可减少实际访问 Web服务器的总次数 .并提出了一个为发展中国家用户缩减 展开更多
关键词 万维网 智能代理 预取 缓存 代理服务器 WEB 预测算法 门限算法
在线阅读 下载PDF
一种Hadoop小文件存储和读取的方法 被引量：39
13
作者 张春明 芮建武 何婷婷 《计算机应用与软件》 CSCD 北大核心 2012年第11期95-100,共6页
HDFS(Hadoop Distributed File System)凭借其高容错、可伸缩和廉价存储的优点,在当前面向云计算的应用场景中得到了广泛应用。然而,HDFS设计的初衷是存储超大文件,对于海量小文件,由于NameNode内存开销等问题,其存储和读取性能并不理... HDFS(Hadoop Distributed File System)凭借其高容错、可伸缩和廉价存储的优点,在当前面向云计算的应用场景中得到了广泛应用。然而,HDFS设计的初衷是存储超大文件,对于海量小文件,由于NameNode内存开销等问题,其存储和读取性能并不理想。提出一种基于小文件合并的方法 HIFM(Hierarchy Index File Merging),综合考虑小文件之间的相关性和数据的目录结构,来辅助将小文件合并成大文件,并生成分层索引。采用集中存储和分布式存储相结合的方式管理索引文件,并实现索引文件预加载。此外,HIFM采用数据预取的机制,提高顺序访问小文件的效率。实验结果表明,HIFM方法能够有效提高小文件存储和读取效率,显著降低NameNode和DataNode的内存开销,适合应用在有一定目录结构的海量小文件存储的应用场合。 展开更多
关键词 HDFS 小文件 HIFM 分层索引 索引预加载 数据预取
在线阅读 下载PDF
基于网络性能的智能Web加速技术——缓存与预取 被引量：12
14
作者 金志刚 张钢 舒炎泰 《计算机研究与发展》 EI CSCD 北大核心 2001年第8期1000-1004,共5页
Web业务在网络业务中占有很大比重 ,在无法扩大网络带宽时 ,需要采取一定技术合理利用带宽 ,改善网络性能 .研究了基于 RTT(round trip time)等网络性能指标的 Web智能加速技术 ,在对 Web代理服务器上的业务进行分析和对网络 RTT进行测... Web业务在网络业务中占有很大比重 ,在无法扩大网络带宽时 ,需要采取一定技术合理利用带宽 ,改善网络性能 .研究了基于 RTT(round trip time)等网络性能指标的 Web智能加速技术 ,在对 Web代理服务器上的业务进行分析和对网络 RTT进行测量分析的基础上 ,提出了智能预取控制技术及新的缓存 (cache)替换方法 .对新算法的仿真研究表明 ,该方法提高了缓存的命中率 .研究表明预取技术在不明显增加网络负荷的前提下 ,提高了业务的响应速度 ,有效地改进了 展开更多
关键词 网络性能 智能加速 算法 WEB 代理服务器 WWW
在线阅读 下载PDF
基于龙芯2F体系结构的BLAS库优化 被引量：13
15
作者 顾乃杰 李凯 +1 位作者 陈国良 吴超 《中国科学技术大学学报》 CAS CSCD 北大核心 2008年第7期854-859,共6页
在KD-50-I平台上,基于常用优化技术,根据龙芯2F体系结构的特点,在数据预取、指令调度方面,针对高性能计算机系统中能有效解决线性代数问题的子程序集合BLAS,提出了新的优化技术,充分发挥龙芯2F处理器的性能,实现了高性能的BLAS.实际测... 在KD-50-I平台上,基于常用优化技术,根据龙芯2F体系结构的特点,在数据预取、指令调度方面,针对高性能计算机系统中能有效解决线性代数问题的子程序集合BLAS,提出了新的优化技术,充分发挥龙芯2F处理器的性能,实现了高性能的BLAS.实际测试表明,高性能BLAS在750 MHz的龙芯2F处理器(双精度浮点峰值3 Gflops)上HPL实测峰值达到1.47 GHz,比原始BLAS提高了6倍以上,比ATLAS提高了45%. 展开更多
关键词 BLAS 龙芯2F KD-50-Ⅰ 数据预取 指令调度
在线阅读 下载PDF
移动P2P网络的协作缓存优化策略 被引量：15
16
作者 牛新征 佘堃 +1 位作者 秦科 周明天 《计算机研究与发展》 EI CSCD 北大核心 2008年第4期656-665,共10页
移动P2P网络具有拓扑动态多变、节点资源有限、网络资源短缺的特点.如何合理地、高效地使用移动节点提供的协作缓存资源、增加移动节点间的协作来减少移动P2P的网络时延、节省带宽、防止拥塞是一个关键问题.深入研究了有限协作缓存——C... 移动P2P网络具有拓扑动态多变、节点资源有限、网络资源短缺的特点.如何合理地、高效地使用移动节点提供的协作缓存资源、增加移动节点间的协作来减少移动P2P的网络时延、节省带宽、防止拥塞是一个关键问题.深入研究了有限协作缓存——Cache资源的替换策略、重要数据的及时缓存和Cache资源的充分使用问题.并根据蚁群算法的思路,提出了一种基于信息素的Cache替换算法,建立了选取适当存储空间作为Cache的数学模型和推导.理论分析和仿真数据表明该算法能有效提高协作Cache资源的使用率,促进了移动节点间的协作,提高了移动节点从邻居节点获得资源的成功率,并减少了协作Cache资源请求的平均响应时间. 展开更多
关键词 移动P2P网络 Cache预测 预取 蚁群算法 信息素 协作缓存
在线阅读 下载PDF
龙芯3A多核处理器系统级性能优化与分析 被引量：12
17
作者 孟小甫 高翔 +1 位作者 从明 张爽爽 《计算机研究与发展》 EI CSCD 北大核心 2012年第S1期137-142,共6页
多核处理器的性能与系统软件有着密切的联系:操作系统是处理器与应用程序之间的接口,对于充分利用处理器特性和提高应用程序的性能起着极其重要的作用;编译器与处理器体系结构密切相关,一方面要产生处理器支持的二进制代码,另一方面还... 多核处理器的性能与系统软件有着密切的联系:操作系统是处理器与应用程序之间的接口,对于充分利用处理器特性和提高应用程序的性能起着极其重要的作用;编译器与处理器体系结构密切相关,一方面要产生处理器支持的二进制代码,另一方面还要结合处理器特性产生高效运行的代码,其性能好坏直接影响着系统的整体性能.为了提高龙芯3A系统的实际性能,从操作系统和编译器着手,结合龙芯3A微结构特征,进行了一系列有效的优化.这些措施包括CC-NUMA多核操作系统的实现、操作系统二级Cache锁机制、操作系统调度共享二级Cache分配、自动向量化编译和支持预取机制的编译等.实验结果表明,在系统软件中增加对处理器特性的支持,能够充分挖掘体系结构的优势,对系统性能有较大的好处.其性能优化技术对于其他处理器的优化也有一定的借鉴价值. 展开更多
关键词 龙芯3A 自动向量化 预取 锁Cache 性能分析
在线阅读 下载PDF
基于NoSQL的海量航空物流小文件分布式多级存储方法 被引量：8
18
作者 丁建立 郑峰弓 +2 位作者 李永华 罗云生 曹卫东 《计算机应用研究》 CSCD 北大核心 2017年第5期1433-1436,1441,共5页
为了解决航空物流领域海量小文件存储效率和访问效率不高的问题,提出一种基于NoSQL的海量小文件分布式多级存储方法。充分考虑到数据的时效性、本地性、操作的并发性以及文件之间的相关性,先根据相关性将文件合并,然后采用分布式多级存... 为了解决航空物流领域海量小文件存储效率和访问效率不高的问题,提出一种基于NoSQL的海量小文件分布式多级存储方法。充分考虑到数据的时效性、本地性、操作的并发性以及文件之间的相关性,先根据相关性将文件合并,然后采用分布式多级存储,使用内存式Redis数据库做缓存,HDFS做数据的持久化存储,其过程采用预取机制。实验结果表明,该方法有效提高了小文件的存取效率和磁盘的利用率,显著地降低了网络的带宽占用和集群NameNode的内存消耗,适合解决航空领域海量小文件存储问题。 展开更多
关键词 小文件 REDIS HDFS 多级存储 预取机制
在线阅读 下载PDF
基于Web对象流行度的PPM预测模型 被引量：9
19
作者 石磊 张岳 +1 位作者 裴云霞 古志民 《小型微型计算机系统》 CSCD 北大核心 2006年第7期1378-1382,共5页
W eb预取技术是减少网络延迟,提高服务质量的主要解决方案之一.利用Z ip f第一法则和第二法则分别对W eb高频区对象和低频区对象建立访问流行度模型,进而提出一种基于W eb对象流行度的PPM预测模型.实验表明,该模型除继承了传统PPM模型... W eb预取技术是减少网络延迟,提高服务质量的主要解决方案之一.利用Z ip f第一法则和第二法则分别对W eb高频区对象和低频区对象建立访问流行度模型,进而提出一种基于W eb对象流行度的PPM预测模型.实验表明,该模型除继承了传统PPM模型简单易实现的特点外,在缩减模型规模的同时预测精度也有一定程度的提高,并且控制了由预取引起的网络流量. 展开更多
关键词 WEB缓存 Zipf定律 WEB预取 PPM
在线阅读 下载PDF
数据库查询优化中的智能预取技术 被引量：10
20
作者 朱鸿宇 刘瑰 +1 位作者 唐福华 陈左宁 《计算机应用研究》 CSCD 北大核心 2007年第5期35-37,40,共4页
提出了一种新的用于关系数据库查询缓冲和预取的方法。首先将数据查询语句抽象成由四元组组成的查询模板,同时保存了查询语句的实际参数。基于这些模板和参数,提出了两种智能预取算法以适应两类不同的数据查询需求。第一个算法基于蚁群... 提出了一种新的用于关系数据库查询缓冲和预取的方法。首先将数据查询语句抽象成由四元组组成的查询模板,同时保存了查询语句的实际参数。基于这些模板和参数,提出了两种智能预取算法以适应两类不同的数据查询需求。第一个算法基于蚁群规则,该算法能够用于预测将来具有最高可能性的查询。经过监控某个特定应用对于数据库所发生的大量查询,实际的模板数要远远小于发生的查询数。当通过考虑查询模板和跟踪历史查询记录来预测未来可能发生的查询时,提出了第二类算法。该算法基于惯性规则,它使用BP网络来跟踪用户的查询历史。相对于前面的算法,该算法更适合多应用共存的场合。在模拟实验中发现对于单个应用而言,查询具有很高的模板依赖性,而对于多应用场合,惯性规则具有更好的适应性。 展开更多
关键词 数据预取 蚁群规则 惯性规则
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 13 下一页 到第 页
关于我们 | 版权声明 | 联系我们 | 帮助中心| 意见反馈
主办单位：上海市教育委员会
技术支持：重庆维普资讯有限公司
渝公网安备 50019002500403号
使用帮助 返回顶部