期刊文献+
共找到17篇文章
< 1 >
每页显示 20 50 100
面向数据密集型应用的近数据处理架构设计 被引量:1
1
作者 谢洋 李晨 陈小文 《计算机工程与科学》 北大核心 2025年第5期797-810,共14页
大数据时代,多核处理器在处理数据密集型应用时,面临着数据局部性低、访存延迟高和内核计算效率低等挑战。近数据处理对于降低访存延迟、提高内核计算效率具有重要潜力。设计了一种计算访存松耦合的近数据处理架构(LcNDP),部署在多核处... 大数据时代,多核处理器在处理数据密集型应用时,面临着数据局部性低、访存延迟高和内核计算效率低等挑战。近数据处理对于降低访存延迟、提高内核计算效率具有重要潜力。设计了一种计算访存松耦合的近数据处理架构(LcNDP),部署在多核处理器的共享缓存端和内存端。一方面通过迁移内核的访存任务,实现内核计算与访存的并行,隐藏访存开销;另一方面通过近数据计算单元,处理流数据计算,降低内核计算量和访存开销。实验结果表明LcNDP相较于传统多核架构,平均延迟降低了43%,与传统近数据处理的多核架构相比平均延迟降低了23%。 展开更多
关键词 数据 数据密集应用 计算机体系结构 多核处理器
在线阅读 下载PDF
数据密集型应用中的异构数据集成服务研究 被引量:6
2
作者 葛敬军 孔繁之 +2 位作者 张明 滕剑锋 刘歆 《计算机工程》 CAS CSCD 北大核心 2015年第7期60-65,共6页
从分布式异构数据集成和海量数据共享两方面对领域异构数据集成的关键技术进行研究,提出面向领域异构数据的语义集成方法,建立针对各种异构数据的嵌套对象模型,通过虚拟视图和Mashup服务架构对数据及数据之间的关系进行描述、组织和展示... 从分布式异构数据集成和海量数据共享两方面对领域异构数据集成的关键技术进行研究,提出面向领域异构数据的语义集成方法,建立针对各种异构数据的嵌套对象模型,通过虚拟视图和Mashup服务架构对数据及数据之间的关系进行描述、组织和展示,利用语义映射实现数据交互并保持数据同步,从而提供动态的数据集成服务。实例分析结果表明,基于该数据集成方法开发的油气井生产优化决策与诊断平台能实现多种专业数据集成及跨专业应用,为油气井生产动态监控、优化设计、诊断决策等提供技术支持。 展开更多
关键词 语义异构 嵌套对象模型 虚拟视图 数据集成 数据密集应用
在线阅读 下载PDF
云环境下面向数据密集型应用的数据选择策略研究 被引量:1
3
作者 杜薇 崔国华 +2 位作者 刘伟 石飞燕 位凯志 《计算机科学》 CSCD 北大核心 2012年第6期30-34,71,共6页
云环境下独立任务包数据密集型应用已出现在多个领域。鉴于多数据中心环境和"按需付费"的资源使用模式,这类应用在数据选择方面面临着新的挑战,主要表现为如何从内容相同但位置和访问成本均不同的数据集中选择合适的数据资源... 云环境下独立任务包数据密集型应用已出现在多个领域。鉴于多数据中心环境和"按需付费"的资源使用模式,这类应用在数据选择方面面临着新的挑战,主要表现为如何从内容相同但位置和访问成本均不同的数据集中选择合适的数据资源作为应用的输入。针对该问题,首先构建云环境和数据选择问题模型。在此基础上,将成本最小化的数据选择过程抽象为带权重集合的覆盖问题,提出一种新的数据选择策略,以在执行效率和经济成本间取得平衡。实验结果显示,提出的数据选择策略在保证成本优化的同时兼顾了执行效率,综合性能良好。 展开更多
关键词 云计算 独立任务包 数据密集应用 数据选择 带权重集合覆盖
在线阅读 下载PDF
面向过程的测试方法在大规模数据密集型系统中的应用
4
作者 刘莹 宋怀明 焦丽梅 《计算机应用》 CSCD 北大核心 2006年第6期1452-1455,共4页
针对数据密集型的大规模系统提出了一种面向过程的测试方法,它根据测试节点的不同角色,综合负载特征和资源利用情况,对大规模系统进行综合全面的分析,这不仅简化了大规模系统测试的复杂性,而且较好的屏蔽了上层应用的多样性。该方法已... 针对数据密集型的大规模系统提出了一种面向过程的测试方法,它根据测试节点的不同角色,综合负载特征和资源利用情况,对大规模系统进行综合全面的分析,这不仅简化了大规模系统测试的复杂性,而且较好的屏蔽了上层应用的多样性。该方法已在一些大规模系统测试中得到了应用,及时发现了系统设计和系统设备的问题,取得了很好的效果。 展开更多
关键词 面向过程 大规模系统 数据密集应用 性能评测
在线阅读 下载PDF
云环境下面向数据密集型应用的容错性资源配置方法 被引量:2
5
作者 李宏梅 杨天国 +3 位作者 张磊 莫瑞超 许小龙 徐占洋 《计算机应用》 CSCD 北大核心 2020年第S01期136-140,共5页
为了在云计算平台发生宕机时进行有效的资源配置,提出一种面向数据密集型应用的容错资源配置方法(FRPM)。首先,将数据密集型应用建模为工作流模型,并且基于虚拟层2(VL2)网络拓扑结构建立了宕机任务时间恢复时间模型和负载均衡模型;然后... 为了在云计算平台发生宕机时进行有效的资源配置,提出一种面向数据密集型应用的容错资源配置方法(FRPM)。首先,将数据密集型应用建模为工作流模型,并且基于虚拟层2(VL2)网络拓扑结构建立了宕机任务时间恢复时间模型和负载均衡模型;然后,利用非支配排序遗传算法(NSGA-Ⅲ)实现对数据密集型应用的完成时间和云平台所有计算节点负载均衡进行联合优化,从而为部署在宕机节点上应用找到有效的资源配置策略;最后,根据简单加权(SAW)法和多层次决策准则(MCDM)选择出最优的资源配置策略。实验结果表明,FRPM方法能够在云平台在发生宕机时保证数据密集型应用的完成时间最短,与此同时也能保证云平台所有计算节点的负载均衡。 展开更多
关键词 云计算 错误容忍 数据密集应用 资源配置 非支配排序遗传算法
在线阅读 下载PDF
面向非规则大数据分析应用的多核帮助线程预取方法 被引量:4
6
作者 张建勋 古志民 +1 位作者 胡潇涵 蔡旻 《通信学报》 EI CSCD 北大核心 2014年第8期137-146,共10页
大数据分析应用往往采用基于大型稀疏图的遍历算法,其主要特点是非规则数据密集访存。以频繁使用的具有大型稀疏图遍历特征的介度中心算法为例,提出一种基于帮助线程的多参数预取控制模型和参数优化方法,从而达到提高非规则数据密集程... 大数据分析应用往往采用基于大型稀疏图的遍历算法,其主要特点是非规则数据密集访存。以频繁使用的具有大型稀疏图遍历特征的介度中心算法为例,提出一种基于帮助线程的多参数预取控制模型和参数优化方法,从而达到提高非规则数据密集程序性能的目的。在商用多核平台Q6600和I7上运用该方法后,介度中心算法在不同规模输入下平均性能加速比分别为1.20和1.11。实验结果表明,帮助线程预取能够有效提升该类非规则应用程序的性能。 展开更多
关键词 帮助线程预取 非规则数据密集应用 介度中心性
在线阅读 下载PDF
计算资源共享平台中非集中式的元数据管理 被引量:5
7
作者 蒋炎华 《计算机应用》 CSCD 北大核心 2011年第2期462-465,共4页
提出了计算资源共享平台中的一种非集中式元数据管理方法,它利用对等网络的方式把数据和元数据分散到网络上的其他节点,而不是在后台服务器端。该方法可以在平台运行数据密集型应用时支持大容量的并行工作机读写数据,同时具有随机的访... 提出了计算资源共享平台中的一种非集中式元数据管理方法,它利用对等网络的方式把数据和元数据分散到网络上的其他节点,而不是在后台服务器端。该方法可以在平台运行数据密集型应用时支持大容量的并行工作机读写数据,同时具有随机的访问、灵活的访问粒度、支持高负载的并行读写的特点。运用了分布式哈希表技术,把大容量元数据划分成树型结构的分段树的形式。描述了数据与元数据的读写与追加新数据的过程。测试结果表明:该方法针对3D图像渲染类数据密集型应用,在不同的工作机并行访问与读写过程中,可以获得很高的聚集带宽与平均读写带宽。 展开更多
关键词 数据 计算资源共享 非集中式 数据密集应用 分布式哈希表
在线阅读 下载PDF
面向CGRA循环流水映射的数据并行优化 被引量:5
8
作者 杨子煜 严明 +1 位作者 王大伟 李思昆 《计算机学报》 EI CSCD 北大核心 2013年第6期1280-1289,共10页
数据密集型应用中的核心循环消耗了程序的大量执行时间.如何实现核心循环在粗粒度可重构体系结构(CGRA)上的有效映射仍是当前研究领域的难点.为了在CGRA上最大程度开发应用并行性,降低循环访存开销,提高硬件资源利用率,文中提出一种新... 数据密集型应用中的核心循环消耗了程序的大量执行时间.如何实现核心循环在粗粒度可重构体系结构(CGRA)上的有效映射仍是当前研究领域的难点.为了在CGRA上最大程度开发应用并行性,降低循环访存开销,提高硬件资源利用率,文中提出一种新颖的面向CGRA循环流水映射的数据并行优化方法.通过定义一种新的可重构计算模型TMGC2以实现对循环的多条数据流水线并行加速.为避免并行化执行带来的额外存储体冲突问题影响CGRA执行性能,为后续循环映射创造良好的数据条件,引入存储体消除策略对数据进行重组,并结合数据重用图实现数据并行优化.实验表明,采用文中方法对已有CGRA循环流水映射方法进行优化,可以提高37.2%的数据吞吐量及41.3%的资源利用率. 展开更多
关键词 可重构计算 数据密集应用 数据重组 数据重用 循环映射 粗粒度可重构体系结构
在线阅读 下载PDF
虚拟数据代理云模型构建及数据布局
9
作者 胡志刚 张欣欣 +3 位作者 郑美光 常成龙 李佳 杨柳 《中南大学学报(自然科学版)》 EI CAS CSCD 北大核心 2019年第3期587-595,共9页
综合考虑数据集间的依赖关系以及数据中心的存储容量,引入一种名为"虚拟数据代理"的新实体,通过建立虚拟数据代理云模型,将数据布局问题转换为2个映射过程,即从数据集到虚拟数据代理的映射以及从虚拟数据代理到数据中心的映射... 综合考虑数据集间的依赖关系以及数据中心的存储容量,引入一种名为"虚拟数据代理"的新实体,通过建立虚拟数据代理云模型,将数据布局问题转换为2个映射过程,即从数据集到虚拟数据代理的映射以及从虚拟数据代理到数据中心的映射,进而提出一种基于虚拟数据代理的云模型数据布局策略(CDPVDA)。仿真实验结果表明:CDPVDA与典型的数据放置策略相比,可以将数据中心之间的数据传输开销降低5%~20%。 展开更多
关键词 云模型 数据密集应用 虚拟数据代理 数据布局
在线阅读 下载PDF
帮助线程预取技术研究综述 被引量:3
10
作者 张建勋 古志民 《计算机科学》 CSCD 北大核心 2013年第7期19-23,39,共6页
帮助线程预取是当前多核平台提高非规则数据密集应用预取效果性能的关键技术之一,近年来已成为国内外的研究热点。针对非规则数据密集应用访存规律的非连续局部性特征,帮助线程预取技术利用CMP平台的最后一级共享缓存(LLC)将应用的非连... 帮助线程预取是当前多核平台提高非规则数据密集应用预取效果性能的关键技术之一,近年来已成为国内外的研究热点。针对非规则数据密集应用访存规律的非连续局部性特征,帮助线程预取技术利用CMP平台的最后一级共享缓存(LLC)将应用的非连续局部性转换为瞬时的连续时空局部性(即时局部性),从而达到通过线程级数据预取提高程序性能的目的。归纳了帮助线程预取技术的分类,概括和比较了不同帮助线程实现技术的优势和局限性,深入分析和探讨了现有的几种典型帮助线程技术的预取控制策略。最后从帮助线程实时控制、参数动态选取和优化方面指出了帮助线程预取技术的研究方向。 展开更多
关键词 帮助线程 数据预取 CMP(Chip Multi-Processor)平台 非规则数据密集应用
在线阅读 下载PDF
核心循环到粗粒度可重构体系结构的流水化映射 被引量:10
11
作者 王大伟 窦勇 李思昆 《计算机学报》 EI CSCD 北大核心 2009年第6期1089-1099,共11页
粗粒度可重构体系结构为数据密集型应用提供了灵活性和高效的解决方法,而应用中的核心循环消耗了程序的大量执行时间,满足核心循环在CGRAs上实现的性能/开销的严格约束仍旧是个重大难题.针对已有工作在研究映射核心循环到CGRAs上的不足... 粗粒度可重构体系结构为数据密集型应用提供了灵活性和高效的解决方法,而应用中的核心循环消耗了程序的大量执行时间,满足核心循环在CGRAs上实现的性能/开销的严格约束仍旧是个重大难题.针对已有工作在研究映射核心循环到CGRAs上的不足,文中提出一种新颖的核心循环自动流水映射到粗粒度可重构体系结构上的方法.文中形式化了核心循环到CGRAs的流水映射问题,阐述了CGRAs的资源共享和流水方法,定义了其循环自流水CGRAs体系结构模板,并给出核心循环流水映射方法.实验结果表明,与已有的先进的方法相比,文中方法的资源占用率降低16.3%、吞吐量提高169.1%. 展开更多
关键词 可重构计算 粗粒度可重构体系结构 数据密集应用 循环自流水
在线阅读 下载PDF
内存云架构的磁盘节能策略 被引量:6
12
作者 鲁亮 于炯 +2 位作者 英昌甜 王政英 刘建矿 《计算机应用》 CSCD 北大核心 2014年第9期2518-2522,共5页
内存云(RAMCloud)的出现改善了在线数据密集型(OLDI)应用的用户体验,但其能耗高于传统的云数据中心。针对该问题,提出一种适用于该架构的磁盘节能策略。首先,引入遗传算法中适应度函数和轮盘赌法,尽量选择更为节能的磁盘进行数据持久化... 内存云(RAMCloud)的出现改善了在线数据密集型(OLDI)应用的用户体验,但其能耗高于传统的云数据中心。针对该问题,提出一种适用于该架构的磁盘节能策略。首先,引入遗传算法中适应度函数和轮盘赌法,尽量选择更为节能的磁盘进行数据持久化备份;其次,设定合理的服务器内存缓冲区来延长磁盘的平均连续空闲时间,使得部分服务器磁盘在空闲时进入待机状态。仿真实验结果表明,在50台服务器的内存云系统中,该策略能有效节能约12.69%;而缓冲区大小的设定对于节能效果和数据可用性具有双重影响,需权衡考虑。 展开更多
关键词 在线数据密集应用 内存云 磁盘节能 适应度函数 轮盘赌 待机
在线阅读 下载PDF
关键循环到粗粒度可重构体系结构的存储感知映射 被引量:1
13
作者 杨子煜 赵鹏 +1 位作者 王大伟 李思昆 《国防科技大学学报》 EI CAS CSCD 北大核心 2012年第6期46-53,共8页
针对已有工作面向粗粒度可重构结构(CGRA)研究循环映射的不足,提出一种新颖的存储感知的关键循环映射方法 MALP。该方法定义RCP_CGRA体系结构模型并阐述关键循环到CGRA的映射问题,通过引入结合数组分簇的多面体数据域划分方法进行循环... 针对已有工作面向粗粒度可重构结构(CGRA)研究循环映射的不足,提出一种新颖的存储感知的关键循环映射方法 MALP。该方法定义RCP_CGRA体系结构模型并阐述关键循环到CGRA的映射问题,通过引入结合数组分簇的多面体数据域划分方法进行循环存储分析,根据分析结果,结合体系结构资源约束实现了循环的有效映射。实验结果表明,与已有的方法相比,MALP方法能够快速分析存储需求并有效降低循环映射的资源占用率,提高数据吞吐量,进一步提升了CGRA上循环映射的性能。 展开更多
关键词 循环映射 存储感知 粗粒度可重构体系结构 数据密集应用
在线阅读 下载PDF
利用SSD和DRAM构建的扩展内存架构 被引量:4
14
作者 王力玉 陈岚 +2 位作者 郝晓冉 王强 倪茂 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2017年第3期144-150,共7页
大数据时代的数据密集型应用需要大容量的内存来提高系统性能,但是动态随机访问存储器的容量增长受限于功耗和价格.闪存作为一种已存在的非易失性存储器,具有大容量、低价格和低功耗等优势.提出一种利用固态硬盘作为内存扩展的架构,它... 大数据时代的数据密集型应用需要大容量的内存来提高系统性能,但是动态随机访问存储器的容量增长受限于功耗和价格.闪存作为一种已存在的非易失性存储器,具有大容量、低价格和低功耗等优势.提出一种利用固态硬盘作为内存扩展的架构,它以数据对象为粒度管理数据,提高了固态硬盘的访问有效性.为减少物理内存的浪费,提出一种灵活的内存划分和多重映射机制,以微页管理物理内存.该方案以运行时库的方式提供应用程序接口,使用户能透明地访问大容量扩展内存.多组数据密集型应用的测试结果表明,相对于采用固态硬盘作交换区、以页粒度换入换出数据的方案,该方案可获得最高3.3倍的性能提升. 展开更多
关键词 数据 数据密集应用 非易失性存储器 固态硬盘 内存扩展
在线阅读 下载PDF
基于通信代价的网格资源调度算法
15
作者 许欢欢 武秀川 +2 位作者 武佳薇 李金城 童向荣 《计算机工程》 CAS CSCD 北大核心 2009年第17期69-70,74,共3页
针对基于时间和预算限制的资源调度算法在调度数据密集型应用程序时存在的问题,提出一种新的基于通信代价的网格资源调度算法,综合考虑用户的时间限制和预算要求,根据用户作业的计算量与通信量选择具有一定计算能力,且通信代价较小的资... 针对基于时间和预算限制的资源调度算法在调度数据密集型应用程序时存在的问题,提出一种新的基于通信代价的网格资源调度算法,综合考虑用户的时间限制和预算要求,根据用户作业的计算量与通信量选择具有一定计算能力,且通信代价较小的资源节点作为目标节点,通过减少此类程序提交到目标资源节点的通信代价,达到减少整个应用程序完成时间的目的。实验结果表明,该算法能够获得较好的性能。 展开更多
关键词 网格 资源调度 数据密集应用程序
在线阅读 下载PDF
面向多读/写头磁畴壁存储器的优化研究
16
作者 许瑞 谷守珍 +3 位作者 沙行勉 诸葛晴凤 石亮 高思远 《软件学报》 EI CSCD 北大核心 2020年第9期2723-2740,共18页
当前,大数据及人工智能技术向嵌入式系统发展,对嵌入式系统的存储访问能力提出了更高的要求.磁畴壁存储器凭借其高读写速度、高密度以及低功耗等优点,可以用于嵌入式系统,以满足数据密集型应用对访问速度、容量及能耗的需求.但是磁畴壁... 当前,大数据及人工智能技术向嵌入式系统发展,对嵌入式系统的存储访问能力提出了更高的要求.磁畴壁存储器凭借其高读写速度、高密度以及低功耗等优点,可以用于嵌入式系统,以满足数据密集型应用对访问速度、容量及能耗的需求.但是磁畴壁存储器在进行数据访问之前需要进行移动操作,这将极大影响其存储访问性能.而减少移动操作可以有效提升磁畴壁存储器的性能.面向运行数据密集型应用的多读/写头磁畴壁存储器系统,研究减少移动操作的最优指令调度与数据放置技术.首先提出了可获得最小移动次数的整数线性规划(integer linear programming,简称ILP)模型.由于ILP模型不能在多项式时间内求得最优解,所以提出了多项式时间的启发式算法——生成指令调度和数据放置(generation instruction scheduling and data placement,简称GISDP)算法.实验结果表明,ILP模型和GISDP算法可以有效减少移动操作的次数.在配备8个读/写头的磁畴壁存储器上,GISDP算法生成的指令调度与数据放置方案相较其他算法可以平均减少89.7%的移动操作,并且GISDP算法的结果接近ILP模型的最优解. 展开更多
关键词 磁畴壁存储器 数据密集应用 指令调度 数据放置 移动操作
在线阅读 下载PDF
基于2.5D封装系统的存储型计算研究
17
作者 尹颖颖 虞志益 《计算机工程》 CAS CSCD 北大核心 2017年第2期105-110,119,共7页
对于数据密集型应用,大量能量和延时消耗在计算和存储单元之间的数据传输上,造成冯·诺依曼瓶颈。在采用2.5D封装集成的系统中,这一问题依然存在。为此,提出一种新型的硬件加速方案。引入存储型计算到2.5D系统中,使片外存储具备运... 对于数据密集型应用,大量能量和延时消耗在计算和存储单元之间的数据传输上,造成冯·诺依曼瓶颈。在采用2.5D封装集成的系统中,这一问题依然存在。为此,提出一种新型的硬件加速方案。引入存储型计算到2.5D系统中,使片外存储具备运算的能力。将存储器划分为若干个bank,支持bank间并行访问,并在存储阵列中设计可配置的加速单元,充分利用存储阵列的带宽进行并行计算,降低数据传输的延时和能耗。以H.264解码中的反量化反变换为例对该结构进行实现,仿真结果显示,相较于传统软件实现方法,该方案可获得7.1倍的性能提升,节省80.5%的能量,并且只增加2%的面积开销。 展开更多
关键词 存储型计算 冯·诺依曼瓶颈 2.5D封装系统 H.264解码 数据密集应用
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部