大数据背景下集群调度结构与研究进展 被引量：25

1

作者 郝春亮 沈捷 +3 位作者 张珩 武延军 王青 李明树 《计算机研究与发展》 EI CSCD 北大核心 2018年第1期53-70,共18页

集群调度一直以来是集群计算方向的热点研究问题.集群调度研究主要关注在固定的集群资源条件下,数据处理作业如何快速、精确地获得所需运行资源,从而达到预先设定的执行目标.随着大数据计算的发展,集群环境在过去10年内持续且快速地发... 集群调度一直以来是集群计算方向的热点研究问题.集群调度研究主要关注在固定的集群资源条件下,数据处理作业如何快速、精确地获得所需运行资源,从而达到预先设定的执行目标.随着大数据计算的发展,集群环境在过去10年内持续且快速地发展变化,集群调度场景和目标也日趋复杂.尤其是在大数据背景下,传统集中调度结构的性能瓶颈被放大,研究者开始向全新的调度结构进行探索,应运而生了众多新思路、新结构.从大数据背景下集群调度研究的主要研究问题出发,分别介绍了大数据背景下的4种集群调度结构:集中结构、双层结构、分布式结构以及混合结构,并对各结构的产生原因、适用场景、优劣、典型研究工作、研究进展进行分析,并尝试对各结构的未来发展进行展望. 展开更多

关键词 集群调度 资源抽象 集群计算 大数据 数据处理作业

在线阅读 下载PDF 职称材料

一种Hadoop平台下的调度算法及混合调度策略 被引量：12

2

作者 李千目 张晟骁 +2 位作者 陆路 戚湧 张宏 《计算机研究与发展》 EI CSCD 北大核心 2013年第S1期361-368,共8页

云资源的合理分配以及对作业的有效调度,能够大幅提升云系统性能.在归纳Hadoop的现有作业调度算法的基础上,提出一个适用于异构集群的Max-D调度算法.对比分析了FIFO、公平调度以及Max-D算法在不同负载情况下的性能,针对单一调度算法在... 云资源的合理分配以及对作业的有效调度,能够大幅提升云系统性能.在归纳Hadoop的现有作业调度算法的基础上,提出一个适用于异构集群的Max-D调度算法.对比分析了FIFO、公平调度以及Max-D算法在不同负载情况下的性能,针对单一调度算法在不同负载下性能衰减的缺陷,设计出基于负载检测的混合调度策略,为系统选择最为适合当前负载状况的调度算法.实验数据表明,FIFO、公平调度以及Max-D算法的混合调度方式对减少作业的平均调度时间以及保证公平性是有效的. 展开更多

关键词 云计算 HADOOP 作业调度 混合调度 异构集群

在线阅读 下载PDF 职称材料

云计算环境下的动态反馈作业调度算法 被引量：15

3

作者 马莉 唐善成 +1 位作者 王静 赵安新 《西安交通大学学报》 EI CAS CSCD 北大核心 2014年第7期77-82,共6页

针对现有Hadoop作业调度算法在多用户、异构环境下不具备反馈机制的问题,提出一种云计算环境下具备反馈机制的动态作业调度算法。该算法引入排队论模型,采用单队列多资源池服务窗口的设计思路,将所有作业统一提交到一个支持优先级的排... 针对现有Hadoop作业调度算法在多用户、异构环境下不具备反馈机制的问题,提出一种云计算环境下具备反馈机制的动态作业调度算法。该算法引入排队论模型,采用单队列多资源池服务窗口的设计思路,将所有作业统一提交到一个支持优先级的排队队列,作业分发控制模块选择优先级最高的作业分发到空闲的资源池窗口执行;Hadoop集群通过自身的心跳机制将作业运行的初始化时间、运行时间等信息传递给参数统计模块进行统计,将获得的平均到达率和平均服务率这两个核心参数的实际值传递给反馈机制模块,根据调度算法模型计算出平均逗留时间和平均队长的理论值并与实际值进行对比,当差值大于阈值时对该调度算法的核心参数进行适当调节使差值收敛于阈值,将具有较大平均逗留时间和平均队长的作业调度到有槽位数的资源池服务窗口执行。实验结果表明:与经典算法相比,该算法具有较高的调度效率和负载平衡能力,作业平均逗留时间比先进先出调度算法和公平调度算法分别减少了57%和19%,平均队长分别减少了50%和37%。 展开更多

关键词 云计算 HADOOP集群 作业调度 排队论 反馈机制

在线阅读 下载PDF 职称材料

大型高能物理计算集群资源管理方法的评测 被引量：7

4

作者 孙震宇 石京燕 +2 位作者 姜晓巍 邹佳恒 杜然 《计算机科学》 CSCD 北大核心 2017年第10期85-90,共6页

高能物理数据由物理事例组成,事例之间没有相关性。可以通过大量作业同时处理大量不同的数据文件,从而实现高能物理计算任务的并行化,因此高能物理计算是典型的高吞吐量计算场景。高能所计算集群使用开源的TORQUE/Maui进行资源管理及作... 高能物理数据由物理事例组成,事例之间没有相关性。可以通过大量作业同时处理大量不同的数据文件,从而实现高能物理计算任务的并行化,因此高能物理计算是典型的高吞吐量计算场景。高能所计算集群使用开源的TORQUE/Maui进行资源管理及作业调度,并通过将集群资源划分成不同队列以及限制用户最大运行作业数来保证公平性,然而这也导致了集群整体资源利用率非常低下。SLURM和HTCondor都是近年来流行的开源资源管理系统,前者拥有丰富的作业调度策略,后者非常适合高吞吐量计算,二者都能够替代老旧、缺乏维护的TORQUE/Maui,都是管理计算集群资源的可行方案。在SLURM和HTCondor测试集群上模拟大亚湾实验用户的作业提交行为,对SLURM和HTCondor的资源分配行为和效率进行了测试,并与相同作业在高能物理研究所TORQUE/Maui集群上的实际调度结果进行了对比,分析了SLURM及HTCondor的优势和不足,探讨了使用SLURM或HTCondor管理高能物理研究所计算集群的可行性。 展开更多

关键词 资源管理系统 作业调度器 计算集群 高吞吐量计算 高能物理计算

在线阅读 下载PDF 职称材料

大规模异构计算集群的双层作业调度系统 被引量：6

5

作者 孙震宇 石京燕 +4 位作者 孙功星 杜然 姜晓巍 邹佳恒 谭宏楠 《计算机工程》 CAS CSCD 北大核心 2020年第1期187-195,共9页

高能物理计算平台中的HTCondor和SLURM计算集群为多个高能物理实验提供数据处理服务,然而HTCondor并行作业调度效率较低、SLURM难以应对大量串行作业,且计算平台整体资源管理及调度策略过于简单。为满足高能物理计算集群高负荷运行的需... 高能物理计算平台中的HTCondor和SLURM计算集群为多个高能物理实验提供数据处理服务,然而HTCondor并行作业调度效率较低、SLURM难以应对大量串行作业,且计算平台整体资源管理及调度策略过于简单。为满足高能物理计算集群高负荷运行的需求,在传统作业调度器上增加作业管理层,设计双层作业调度系统,通过高效调度串并行作业并兼顾实验组间资源的使用公平性,实现用户对作业的细粒度管理。测试结果表明,双层作业调度系统支持大批量高能物理作业的快速提交,并充分利用计算平台的总体资源,具有较好的作业调度性能。 展开更多

关键词 计算集群管理 作业调度器 高通量计算 高性能计算 高能物理计算

在线阅读 下载PDF 职称材料

基于思维进化的集群作业调度方法研究 被引量：6

6

作者 薛正华 刘伟哲 +1 位作者 董小社 伍卫国 《西安交通大学学报》 EI CAS CSCD 北大核心 2008年第6期651-654,764,共5页

为了减少不准确的时间估计对作业调度的影响,提出了动态预约调度模式.在该模式中,预约队列中的作业与被预约资源是松耦合的,可根据作业完成情况进行重映射,以减少作业提前完成而产生的资源碎片.基于动态预约模式,将思维进化计算引入到... 为了减少不准确的时间估计对作业调度的影响,提出了动态预约调度模式.在该模式中,预约队列中的作业与被预约资源是松耦合的,可根据作业完成情况进行重映射,以减少作业提前完成而产生的资源碎片.基于动态预约模式,将思维进化计算引入到作业调度中,以各种回填算法的调度结果作为初始群体,通过趋同和异化操作,使群体不断向最优解进化,从而产生更优的调度方案.基于真实作业集的仿真结果表明,所提算法的作业平均的等待、延迟时间比最优的基于回填的组合算法分别下降了68.5%和66.9%. 展开更多

关键词 服务器集群 作业调度 思维进化计算

在线阅读 下载PDF 职称材料

Hadoop集群作业调度算法优化技术研究 被引量：5

7

作者 单冬红 郭静博 赵伟艇 《现代电子技术》 北大核心 2016年第6期25-29,共5页

针对当前云计算技术的广泛使用,提出对Hadoop集群作业调度算法进行研究的构想。在对Hadoop新版本中提出的Hadoop Map Reduce V2(Yarn)框架进行深入研究的基础上,设计一个详细完整的对比实验,针对各种作业调度算法的优势与不足进行全面... 针对当前云计算技术的广泛使用,提出对Hadoop集群作业调度算法进行研究的构想。在对Hadoop新版本中提出的Hadoop Map Reduce V2(Yarn)框架进行深入研究的基础上,设计一个详细完整的对比实验,针对各种作业调度算法的优势与不足进行全面的测试。通过使用不同的作业调度算法运行相同的作业,进行细致横向的对比,并得到各种作业调度算法之间以及计算框架之间在计算能力、运行时间、资源占用等方面的优劣。实验结果表明,公平调度算法和计算能力调度算法相较于传统的FIFO算法具有更灵活、更高效的特点。 展开更多

关键词 云计算 HADOOP HDFS 作业调度 集群

在线阅读 下载PDF 职称材料

群机管理系统的作业调度算法研究 被引量：2

8

作者 吴巨红 罗铁庚 龚正虎 《计算机工程》 CAS CSCD 北大核心 2001年第2期131-132,143,共3页

首先分析了常用的作业调度策略及单独使用各策略的不足，然后介绍了作者在自行开发设计的异构群机计算管理系统TUMBLER中提出和使用的三级作业调度策略，重点介绍了在确定作业优先级时使用的基于资源需求度概念的短需求优先的策略。经... 首先分析了常用的作业调度策略及单独使用各策略的不足，然后介绍了作者在自行开发设计的异构群机计算管理系统TUMBLER中提出和使用的三级作业调度策略，重点介绍了在确定作业优先级时使用的基于资源需求度概念的短需求优先的策略。经测试表明，采用基于短需求优先的三级调度策略时，TUMBLER系统较未采用短需求优先策略时的性能有明显提高。 展开更多

关键词 群机管理系统 作业调度算法 客户/服务器

在线阅读 下载PDF 职称材料

用于并行计算的PC机群 被引量：3

9

作者 胡亮 刘淑芬 鞠九滨 《小型微型计算机系统》 CSCD 北大核心 1998年第10期1-5,共5页

随着计算机技术的高速发展，使用机群进行并行计算也越来越流行，尤其是利用工作站机群进行并行计算已经十分普遍。但使用ＰＣ机群进行并行计算的系统还很少，这种ＰＣ机群由一组ＰＣ机（４８６，５８６）通过网络互连组成。

关键词 机群 并行计算 微机 工作站网络

在线阅读 下载PDF 职称材料

密码服务器运算资源可扩展管理研究 被引量：1

10

作者 容晓峰 周利华 《电信科学》 北大核心 2010年第8期86-89,共4页

资源的可扩展管理是集群式密码服务器设计中的关键问题。本文通过分析密码运算的特点,设置算法线程代理密码芯片的运算资源,并在系统管理层建立资源信息表、注册算法线程与管理层的通信句柄及对应算法资源的属性,使系统管理机可以通过... 资源的可扩展管理是集群式密码服务器设计中的关键问题。本文通过分析密码运算的特点,设置算法线程代理密码芯片的运算资源,并在系统管理层建立资源信息表、注册算法线程与管理层的通信句柄及对应算法资源的属性,使系统管理机可以通过资源信息表监控、调度、增/删底层运算资源。该方法实现了系统资源的可扩展管理,并支持集群系统内多密码芯片并行运算资源的调度管理。 展开更多

关键词 集群计算 资源管理 作业调度 密码处理

在线阅读 下载PDF 职称材料

虚拟计算集群资源管理和作业调度设计与实现 被引量：1

11

作者 陶宇炜 《实验技术与管理》 CAS 北大核心 2021年第9期132-137,共6页

随着高性能计算需求的增加,集群的计算资源和计算能力不能满足多应用的复杂计算场景,难以应对作业高峰时的使用需求,存在资源隔离和机时闲置浪费的情况。为了解决高性能计算(HPC)集群资源管理和作业调度存在的问题,该文提出基于Docker... 随着高性能计算需求的增加,集群的计算资源和计算能力不能满足多应用的复杂计算场景,难以应对作业高峰时的使用需求,存在资源隔离和机时闲置浪费的情况。为了解决高性能计算(HPC)集群资源管理和作业调度存在的问题,该文提出基于Docker容器的计算集群资源管理和优先级预约回填作业调度策略。根据用户提交的作业队列长度和集群虚拟资源需求变化,动态调整集群计算节点的形态,统一管理集群虚拟计算资源,定制用户作业运行环境。设计优先级预约回填作业调度策略,能够高效调度数量较大的串行和并行作业,满足集群计算资源使用的公平性,并提高其利用效率。通过与Firstfit策略和FCFS策略对比实验,该策略能有效兼顾计算集群的负载均衡,进一步提升集群作业调度的性能,满足集群的计算需求。 展开更多

关键词 计算集群 虚拟化 资源管理 作业调度 预约回填

在线阅读 下载PDF 职称材料

基于NR-Transformer的集群作业运行时间预测 被引量：2

12

作者 陈奉贤 《计算机工程与科学》 CSCD 北大核心 2022年第7期1181-1190,共10页

高性能集群的作业调度通常使用作业调度系统来实现,准确填写作业运行时间能在很大程度上提升作业调度效率。现有的研究通常使用机器学习的预测方式,在预测精度和实用性上还存在一定的提升空间。为了进一步提高集群作业运行时间预测的准... 高性能集群的作业调度通常使用作业调度系统来实现,准确填写作业运行时间能在很大程度上提升作业调度效率。现有的研究通常使用机器学习的预测方式,在预测精度和实用性上还存在一定的提升空间。为了进一步提高集群作业运行时间预测的准确率,考虑先对集群作业日志进行聚类,将作业类别信息添加到作业特征中,再使用基于注意力机制的NR-Transformer网络对作业日志数据建模和预测。在数据处理上,根据与预测目标的相关性、特征的完整性和数据的有效性,从历史日志数据集中筛选出7维特征,并按作业运行时间的长度将其划分为多个作业集,再对各作业集分别进行训练和预测。实验结果表明,相比于传统机器学习和BP神经网络,时序神经网络结构有更好的预测性能,其中NR-Transformer在各作业集上都有较好的性能。 展开更多

关键词 高性能计算 并行作业调度 用户聚类 时序神经网络 注意力机制

在线阅读 下载PDF 职称材料