-
题名基于使用特性的两阶段多因素作业运行时间预测算法
- 1
-
-
作者
尚秋言
李奕聪
温瑞林
马银萍
欧阳荣彬
樊春
-
机构
北京大学计算中心
北京大学长沙计算与数字经济研究院
电子科技大学计算机科学与工程学院
-
出处
《计算机科学》
北大核心
2025年第2期261-267,共7页
-
基金
湖南省创新型省份建设专项资金(2023GK1010)
北京大学高性能计算平台计算资源支持。
-
文摘
为了解决用户所提供的作业预计时间不准确对高性能计算平台调度系统的连锁影响,以鹤思调度系统为研究模板,提出了一种通用的两阶段多因素作业运行时间预测算法(TSMF)。TSMF融合了复杂的用户行为模式和作业上下文特征,以确保预测准确可靠,并能够无缝嵌入到大多数高性能计算平台的调度系统中,从而改善其性能。在北京大学高性能计算集群的数据集及真实调度系统上进行的多角度模拟实验显示,TSMF在预测准确性方面表现出色,能够在绝大部分作业上实现精准预测。例如,在多达60.8%的作业中,其预测误差在1min以内。此外,TSMF显著改进了实际情境中的调度算法,提高了资源利用率并大幅缩短了用户等待时间。
-
关键词
高性能计算
作业运行时间预测
作业调度
行为模式
机器学习
-
Keywords
High-performance computing
Job runtime prediction
Job scheduling
Behavior patterns
Machine learning
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
