期刊文献+
共找到8篇文章
< 1 >
每页显示 20 50 100
Hadoop MapReduce短作业执行性能优化 被引量:28
1
作者 顾荣 严金双 +2 位作者 杨晓亮 袁春风 黄宜华 《计算机研究与发展》 EI CSCD 北大核心 2014年第6期1270-1280,共11页
Hadoop MapReduce并行计算框架被广泛应用于大规模数据并行处理.近年来,由于其能较好地处理大规模数据,Hadoop MapReduce也被越来越多地使用在查询应用中.为了能够处理大规模数据集,Hadoop的基本设计更多地强调了数据的高吞吐率.然而在... Hadoop MapReduce并行计算框架被广泛应用于大规模数据并行处理.近年来,由于其能较好地处理大规模数据,Hadoop MapReduce也被越来越多地使用在查询应用中.为了能够处理大规模数据集,Hadoop的基本设计更多地强调了数据的高吞吐率.然而在处理对短作业响应性能有较高要求的查询应用时,Hadoop MapReduce并行计算框架存在明显不足.为了提升Hadoop对于短作业的执行效率,对原有的Hadoop MapReduce作出以下3点优化:1)通过优化原有的setup和cleanup任务的执行方式,成功地缩短了作业初始化环境准备和作业结束环境清理的时间;2)将首次任务分配从"拉"模式转变为"推"模式;3)将作业执行过程中JobTracker和TaskTrackers之间的控制消息通信从现有的周期性心跳机制中分离出来,采用即时传递机制.最后,采用一种典型的基于MapReduce并行化的查询应用BLAST,对优化工作进行了评估.各种不同类型BLAST作业的测试实验表明,与现有的标准Hadoop相比,优化后的Hadoop平均执行性能提升约23%. 展开更多
关键词 MAPREDUCE 并行计算 短作业 性能优化 大数据处理
在线阅读 下载PDF
一种短作业环境下的延迟调度算法 被引量:2
2
作者 刘强 董小社 +1 位作者 朱正东 王寅峰 《西安交通大学学报》 EI CAS CSCD 北大核心 2015年第2期1-5,54,共6页
针对短作业场景下YARN平台中延迟调度算法基于静态时间等待阈值,不能进行合理等待的问题,提出了一种云计算环境中基于本地性资源预测的延迟调度算法(locality resource forecast delay scheduling,LRFD)。该算法综合考虑短作业和资源可... 针对短作业场景下YARN平台中延迟调度算法基于静态时间等待阈值,不能进行合理等待的问题,提出了一种云计算环境中基于本地性资源预测的延迟调度算法(locality resource forecast delay scheduling,LRFD)。该算法综合考虑短作业和资源可用性动态变化的特点进行任务调度,根据节点上任务的完成进度和作业未处理数据在集群中的分布状况预估作业的本地性资源信息,从而判断是否需要进行等待以提高系统性能,实现了对本地性资源的合理等待。实验结果表明:在短作业场景下,LRFD算法的性能和稳定性均优于已有的延迟算法,作业性能平均提升约10%,最大加速比可达3倍以上。 展开更多
关键词 云计算 延迟调度算法 短作业
在线阅读 下载PDF
用于减少网络响应时间的最短作业优先分组调度算法 被引量:1
3
作者 陈世平 《上海理工大学学报》 CAS 北大核心 2003年第4期355-360,共6页
提出了一种最短作业优先的分组调度算法,用于减少交互式网络应用的平均响应时间. 新的分组调度算法将最短作业优先准则在一定程度上应用于分组交换网络中. 分析与模拟显示,该算法明显地减少了网络上信息检索的平均响应时间. 算法对交互... 提出了一种最短作业优先的分组调度算法,用于减少交互式网络应用的平均响应时间. 新的分组调度算法将最短作业优先准则在一定程度上应用于分组交换网络中. 分析与模拟显示,该算法明显地减少了网络上信息检索的平均响应时间. 算法对交互式WWW应用的执行效率有较好的实用价值. 展开更多
关键词 网络响应时间 分组调度 短作业 优先队列
在线阅读 下载PDF
公平性考虑的短作业优先内存调度策略 被引量:4
4
作者 金瑛棋 吴俊敏 赵小雨 《计算机工程》 CAS CSCD 2012年第20期243-246,共4页
针对片上多核平台下多线程访问共享内存资源的不公平性、低效性问题,提出公平性考虑的短作业优先内存调度策略,采用设置请求最大等待时间保证线程访问公平性,短作业优先策略缩小请求平均等待时间,关注线程本身固有的并行性。实验结果证... 针对片上多核平台下多线程访问共享内存资源的不公平性、低效性问题,提出公平性考虑的短作业优先内存调度策略,采用设置请求最大等待时间保证线程访问公平性,短作业优先策略缩小请求平均等待时间,关注线程本身固有的并行性。实验结果证明,该策略在多线程访问时IPC性能提升明显,最高性能提升达到43%。 展开更多
关键词 多核 多线程 共享内存 公平性 短作业优先 并行性
在线阅读 下载PDF
一种公平的动态轮转算法 被引量:4
5
作者 胡赛 赵碧海 熊慧军 《湖南师范大学自然科学学报》 CAS 北大核心 2012年第5期30-36,共7页
时间片轮转算法作为一种经典的调度算法得到了广泛的应用.针对时间片轮转算法的调度策略和时间片长度的选取等问题开展深入的研究,提出了一种改进的动态轮转算法,算法是短作业优先算法、多级队列算法和时间片轮转算法的综合和发展.利用... 时间片轮转算法作为一种经典的调度算法得到了广泛的应用.针对时间片轮转算法的调度策略和时间片长度的选取等问题开展深入的研究,提出了一种改进的动态轮转算法,算法是短作业优先算法、多级队列算法和时间片轮转算法的综合和发展.利用生灭过程理论建立了时间片轮转算法和动态轮转算法的性能模型,分析了两种算法的平均等待时间和平均周转时间,引入性能提高百分比的概念对比两种算法的差异.实验结果和理论分析均表明改进算法的性能优于传统的时间片轮转算法. 展开更多
关键词 时间片轮转 短作业优先 动态时间片 性能
在线阅读 下载PDF
一种改进WWW服务器响应时间的调度方法 被引量:1
6
作者 黄桂敏 杨明福 《计算机工程与应用》 CSCD 北大核心 2004年第26期149-151,共3页
这篇论文提出了一种基于控制因子α,处于先来先服务和最短作业优先调度方法之间的分类调度方法,它是非抢占的,且不会发生HTTP请求长期等待而未得到WWW服务器响应的情况,它在WWW服务器过载情况下可以全面改进每个HTTP请求的响应时间。最... 这篇论文提出了一种基于控制因子α,处于先来先服务和最短作业优先调度方法之间的分类调度方法,它是非抢占的,且不会发生HTTP请求长期等待而未得到WWW服务器响应的情况,它在WWW服务器过载情况下可以全面改进每个HTTP请求的响应时间。最后,通过和传统先来先调度方法进行对比模拟实验,实验数据表明提出的调度方法是一种有效的和可行的方法,为下一代电子商务发展奠定了技术基础。 展开更多
关键词 先来先服务 短作业优先 HTTP请求 WWW服务器 电子商务
在线阅读 下载PDF
发展速生树种定向培育工业用材林的研究 被引量:2
7
作者 张丽萍 腾家富 孙胜英 《吉林林业科技》 2001年第1期21-22,38,共3页
对我省30a以下人工更新的大青杨、香杨、红松人工林的生长量进行实际调查,结果表明,27a生时胸径为7.5cm。对落叶松进行定向培育,在皆伐迹地二次人工造林,实行短轮伐作业,生长效果显著。最佳造林密度为3300株/hm2。
关键词 杨树 落叶松 定向培育 速生树种 工业用材林 人工更新 轮化作业
在线阅读 下载PDF
米仓山隧道深大竖井建井新法 被引量:18
8
作者 唐协 林国进 +3 位作者 何佳 安俊吉 周雄华 张睿 《隧道建设(中英文)》 北大核心 2019年第2期268-274,共7页
为解决目前公路行业面临的大直径竖井建设缺乏相关规范支撑和竖井主要采用复合式衬砌及单行掘砌作业带来的工序复杂、建井速度慢、缺乏相应施工机械配套和安全性较差等难题,通过吸收煤矿深大竖井主流支护与掘砌技术,结合公路运营情况考... 为解决目前公路行业面临的大直径竖井建设缺乏相关规范支撑和竖井主要采用复合式衬砌及单行掘砌作业带来的工序复杂、建井速度慢、缺乏相应施工机械配套和安全性较差等难题,通过吸收煤矿深大竖井主流支护与掘砌技术,结合公路运营情况考虑送风井与排风井分设或通过中隔墙合设的布置方式,在公路行业现有支护与掘砌技术的基础上,对米仓山隧道通风竖井进行多方案研究,最终选定单层模筑混凝土衬砌与短段掘砌混合作业单井布置方案,并采用该方案安全快速地建成净直径9 m、深431.8 m的深大竖井。工程实践表明:1)在同等通风面积下双井工程量要小于单井工程量,但由于其配套施工设备造价高,单井造价要低于双井造价; 2)单层模筑混凝土衬砌与短段掘砌混合作业方式在进度和施工安全等方面优于复合式衬砌及掘砌单行作业方式,可作为公路深大竖井建井新方法。研究结果可为今后深大竖井的修建提供技术支撑和为规范的修订积累经验。 展开更多
关键词 公路隧道 竖井 方案比选 单行作业 单层井壁 段掘砌作业
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部