推测执行技术在HPMR系统通信优化中的应用 被引量：2

1

作者 王昊 王向前 郑启龙 《中国科学技术大学学报》 CAS CSCD 北大核心 2010年第11期1191-1196,共6页

HPMR(high performance MapReduce)系统是一个采用MapReduce模型的高性能计算软件支撑平台.在进行高性能计算时,HPMR往往需要很多轮Map-Reduce过程,中间的通信过程由KV路由和KV传输组成.KV传输依照KV路由阶段产生的KV路由表进行.HPMR程... HPMR(high performance MapReduce)系统是一个采用MapReduce模型的高性能计算软件支撑平台.在进行高性能计算时,HPMR往往需要很多轮Map-Reduce过程,中间的通信过程由KV路由和KV传输组成.KV传输依照KV路由阶段产生的KV路由表进行.HPMR程序的典型通信特征是每一轮的KV传输以高概率使用上一轮的KV路由表.根据这一特点,提出在HPMR的通信模型中引入推测执行技术,由此减少了KV路由的次数,使得HPMR的通信性能得到大大地提升. 展开更多

关键词 MAPREDUCE HPMR 推测执行 KV路由 KV传输

在线阅读 下载PDF 职称材料

基于MapReduce模型的推测执行优化算法

2

作者 黄中平 白光伟 +2 位作者 沈航 承骁 华志翔 《计算机科学》 CSCD 北大核心 2017年第4期193-196,212,共5页

作为数据中心大规模处理框架,MapReduce集群包含成百上千个节点,多采用推测执行的方法来有效解决并行计算中的掉队任务。针对集群中实时性需求较高并且任务量较小的目标作业,提出基于MapReduce模型的推测执行优化算法,其目的是在满足实... 作为数据中心大规模处理框架,MapReduce集群包含成百上千个节点,多采用推测执行的方法来有效解决并行计算中的掉队任务。针对集群中实时性需求较高并且任务量较小的目标作业,提出基于MapReduce模型的推测执行优化算法,其目的是在满足实时性需求的基础上尽量减少目标作业的完成时间。首先通过分析任务模型和时间模型,引入数学0-1规划模型,求得整体作业的完成时间最小;然后设计可以在多项式复杂度内完成的启发式算法,目的是在可用资源允许的范围内尽量逼近最优值;最后通过大量实验模拟验证算法的执行效果。 展开更多

关键词 MAPREDUCE 并行计算 推测执行 实时性

在线阅读 下载PDF 职称材料

众核结构上线程级推测执行能力评估器设计

3

作者 任永青 安虹 孙涛 《小型微型计算机系统》 CSCD 北大核心 2011年第5期1012-1016,共5页

由成百上千处理器核构成的众核处理器在提供大量计算能力的同时,也对如何高效利用资源提出挑战;具有不同并行度的应用对处理器核资源有不同的需求,不合理的分配会造成资源浪费(分配过多)或者限制并行性开发(分配过少).针对众核结构上串... 由成百上千处理器核构成的众核处理器在提供大量计算能力的同时,也对如何高效利用资源提出挑战;具有不同并行度的应用对处理器核资源有不同的需求,不合理的分配会造成资源浪费(分配过多)或者限制并行性开发(分配过少).针对众核结构上串行程序线程级推测执行面临的处理器核资源分配问题,提出一种基于硬件的推测执行能力监测和评估机制,设计三种线程级推测执行能力评估器;该评估器能够根据串行程序推测执行能力的动态变化,对应用分配的处理器核资源数量进行实时调整.实验结果表明,利用一个硬件开销极小的评估器对众核平台上串行程序的线程级推测执行进行资源分配指导,即可使性能和资源利用率达到有效的平衡. 展开更多

关键词 众核处理器 资源利用率 线程级推测 推测执行能力评估器

在线阅读 下载PDF 职称材料

Hadoop平台下改进的推测任务调度算法 被引量：2

4

作者 陈明丽 刘旭敏 《传感器与微系统》 CSCD 2017年第2期134-137,共4页

研究对比Hadoop平台下默认的推测任务调度算法和异构环境下LATE调度算法的优势和不足,提出了一种基于Hadoop集群的改进的推测任务调度算法。该算法以节点历史信息对Reduce任务各阶段比例进行动态调整和更新,并对任务实时处理速率进行局... 研究对比Hadoop平台下默认的推测任务调度算法和异构环境下LATE调度算法的优势和不足,提出了一种基于Hadoop集群的改进的推测任务调度算法。该算法以节点历史信息对Reduce任务各阶段比例进行动态调整和更新,并对任务实时处理速率进行局部平滑处理来提高预估任务剩余完成时间的准确性,最后采用MCP模型对备份任务有效性进行验证。通过实验结果分析可知:该算法能够有效提升备份任务成功率,减少作业完成时间。 展开更多

关键词 MAPREDUCE 异构环境 推测执行 LATE

在线阅读 下载PDF 职称材料

Prophet推测多线程系统设计与实现 被引量：2

5

作者 李钟 赵银亮 杜延宁 《计算机科学》 CSCD 北大核心 2011年第2期296-301,共6页

推测多线程技术通过推测执行的方式开发应用程序的线程级并行性,以提高程序执行性能。该技术一般通过执行模型来检测运行时可能的线程推测错误情况,并采取合适的机制恢复程序正确运行。描述的Prophet是一种基于硬件实现的推测多线程执... 推测多线程技术通过推测执行的方式开发应用程序的线程级并行性,以提高程序执行性能。该技术一般通过执行模型来检测运行时可能的线程推测错误情况,并采取合适的机制恢复程序正确运行。描述的Prophet是一种基于硬件实现的推测多线程执行模型。重点描述了Prophet执行模型针对执行模型设计的关键问题的解决方案,包括Prophet的线程状态控制和多版本的Cache系统,Prophet的多版本Cache系统提供了推测数据缓存功能,并使用基于总线监听的Cache协议实现了数据依赖违规检测。还给出了使用Olden基准程序对Prophet执行模型进行功能和性能测试的结果,并分析说明了Prophet系统可以有效地开发应用程序的线程级并行性。 展开更多

关键词 推测多线程 线程级并行 推测多线程执行模型 推测多线程体系结构

在线阅读 下载PDF 职称材料

基于异常检测模型的异构环境下MapReduce性能优化 被引量：3

6

作者 侯佳林 王佳君 聂洪玉 《计算机应用》 CSCD 北大核心 2015年第9期2476-2481,共6页

针对"落伍者"的选择问题,提出利用故障诊断领域内通常使用的异常检测模型来选择"落伍者"的方法。首先,利用异常检测算法来发现集群中的"慢节点";然后改进MapReduce任务分配算法和推测执行算法,不再给&qu... 针对"落伍者"的选择问题,提出利用故障诊断领域内通常使用的异常检测模型来选择"落伍者"的方法。首先,利用异常检测算法来发现集群中的"慢节点";然后改进MapReduce任务分配算法和推测执行算法,不再给"慢节点"分配任务并将"慢节点"中的任务分配至有空闲任务槽的正常节点中。在改进的推测执行算法中,因相同网段内的节点通常物理邻近,可提高数据传输速度,首次将"慢节点"中的任务分配至同网段的正常节点中,以便数据传输。实例验证结果表明,使用异常检测算法后可迅速检测出异常节点,且与Hadoop-LATE算法相比,处理相同任务量可缩短集群17%的任务处理时间,说明所提算法在集群整体性能优化中表现优异。 展开更多

关键词 异常检测 MapReduce性能优化 推测执行 异构环境

在线阅读 下载PDF 职称材料

异构环境下增强的自适应MapReduce调度算法 被引量：5

7

作者 杨立身 余丽萍 《计算机工程与应用》 CSCD 2013年第19期39-43,140,共6页

针对Hadoop默认调度算法和异构环境下LATE调度算法的不足,在SAMR调度算法的基础上提出了一种增强的自适应MapReduce调度算法。该算法记录了每个节点的历史信息,采用K-means聚类算法动态地调整阶段进度值以找到真正需要启动备份的落后任... 针对Hadoop默认调度算法和异构环境下LATE调度算法的不足,在SAMR调度算法的基础上提出了一种增强的自适应MapReduce调度算法。该算法记录了每个节点的历史信息,采用K-means聚类算法动态地调整阶段进度值以找到真正需要启动备份的落后任务。实验结果表明,增强自适应的MapReduce调度算法在提高任务执行时间的估算误差以及准确识别慢任务方面具有一定的有效性。 展开更多

关键词 MAPREDUCE 推测执行 异构环境 K-MEANS算法

在线阅读 下载PDF 职称材料

一种处理器无关的trace协处理器自动产生方法

8

作者 桑胜田 邱善勤 +1 位作者 李晓明 喻明艳 《电子学报》 EI CAS CSCD 北大核心 2011年第2期402-407,共6页

本文提出了体系结构无关的程序热trace提取方法,把基于trace的软硬件划分从机器代码层次提高到了中间代码表示的控制数据流图层次,从而实现了处理器体系结构无关的trace协处理器自动产生方法;提出了基于散列签名的trace预测方法,支持包... 本文提出了体系结构无关的程序热trace提取方法,把基于trace的软硬件划分从机器代码层次提高到了中间代码表示的控制数据流图层次,从而实现了处理器体系结构无关的trace协处理器自动产生方法;提出了基于散列签名的trace预测方法,支持包含环路结构的trace预测,提高了平均命中率.基于上述工作实现的协处理器自动产生方法,可以作为系统级设计优化工具应用于现有的SoC软硬件开发流程.实验表明,与基于机器指令trace的方法相比,本文方法获得的系统平均性能提高了22.6%. 展开更多

关键词 协处理器自动产生 中间表示 TRACE 推测执行

在线阅读 下载PDF 职称材料

SpecGraph:基于并发更新的分布式实时图计算模型 被引量：3

9

作者 景年强 薛继龙 +2 位作者 曲直 杨智 代亚非 《计算机研究与发展》 EI CSCD 北大核心 2014年第S1期155-160,共6页

随着互联网的快速发展,越来越多的应用需要在大规模图结构数据上作分析和计算,面对动态变化的图结构,人们希望能够实时地得到反映最新图结构的计算结果.传统的图处理系统都是面向静态图结构,不能满足动态图结构的实时性要求.已经提出的... 随着互联网的快速发展,越来越多的应用需要在大规模图结构数据上作分析和计算,面对动态变化的图结构,人们希望能够实时地得到反映最新图结构的计算结果.传统的图处理系统都是面向静态图结构,不能满足动态图结构的实时性要求.已经提出的增量图计算模型,其算法适用范围受限,而且都是基于串行执行增量更新,当图结构变化比较迅速时,往往结果的实时性不够高.提出了一种新的基于并发更新的图计算模型SpecGraph,它通过解耦合的计算模型、异步执行引擎和基于推测执行的并发更新机制,达到更广的算法适用性和更高的实时性要求.SpecGraph通过解耦合的计算模型,使得顶点状态只依赖于接收到的邻居信息,为增量更新和并发更新提供了透明实现的可能;通过异步计算引擎,使得系统在增量更新时更加灵活,资源占用低,同时保证了并发的可执行性;通过基于推测执行的并发增量更新,SpecGraph能够达到更高的实时性要求. 展开更多

关键词 图处理系统 分布式系统 实时计算 并发更新 推测执行

在线阅读 下载PDF 职称材料

基于节点集计算能力差异的Hadoop自适应任务调度算法 被引量：4

10

作者 朱洁 李雯睿 +1 位作者 王江平 赵红 《计算机应用》 CSCD 北大核心 2016年第4期918-922,共5页

针对异构集群任务推测式执行算法存在的任务进度比例固定、落后任务被动选取等问题,提出基于快慢节点集计算能力差异的自适应任务调度算法。该算法量化节点集计算能力差异实现分集调度,并通过节点与任务速率的动态反馈及时更新快慢节点... 针对异构集群任务推测式执行算法存在的任务进度比例固定、落后任务被动选取等问题,提出基于快慢节点集计算能力差异的自适应任务调度算法。该算法量化节点集计算能力差异实现分集调度,并通过节点与任务速率的动态反馈及时更新快慢节点集,提高节点集资源利用率与任务并行度。在两节点集中,利用动态调整任务进度比例判别落后任务,主动选择采用替代执行方式为落后任务执行备份任务的快节点,从而提升任务执行效率。与最长近似结束时间(LATE)算法的实验对比结果表明,该算法在短作业集、混合型作业集、出现节点性能下降的混合型作业集执行时间上比LATE算法分别缩短了5.21%、20.51%、23.86%,启用的备份任务数比LATE算法明显减少。所提算法可使任务主动适应节点差异,在减少备份任务的同时有效提高作业整体执行效率。 展开更多

关键词 HADOOP 计算能力 自适应 任务调度 推测式执行

在线阅读 下载PDF 职称材料

指令级并行之发展与展望

11

作者 胡良校 陈耀强 +1 位作者 方滨兴 胡铭曾 《计算机科学》 CSCD 北大核心 1997年第4期20-24,共5页

所谓指令级并行性又称细拉度并行,主要是相对粗拉度并行而言的,后者是指存在于程序(主要是进程或线程间)的并行性。顾名思义。

关键词 指令级并行性 处理器 推测式执行 计算机

在线阅读 下载PDF 职称材料