-
题名SIC:面向大语言模型训练的增量检查点技术
- 1
-
-
作者
王志强
朱文喆
闫超美
李永坤
-
机构
中国科学技术大学计算机科学与技术学院
中国科学技术大学安徽省高性能计算重点实验室
-
出处
《计算机应用研究》
北大核心
2025年第11期3397-3404,共8页
-
基金
国家自然科学基金面上项目(62472392)。
-
文摘
大语言模型训练过程会频繁产生各种软硬件故障,造成训练延长和资源浪费。检查点技术作为关键容错机制在保障训练持续性方面发挥重要作用,但传统的全量检查点方法限制了检查点频率并消耗大量存储资源。为此,提出了一种重要性感知增量检查点方法(SIC)。该方法设计了分层感知的参数更新过滤算法,有效识别每层网络的重要参数更新;此外,通过动态阈值调节机制,在训练过程中实时调节参数变化阈值,确保不丢失关键更新;最后,从理论上证明了SIC对训练收敛性的影响可控。实验表明,单次迭代保存2%的数据足以保证模型的精度和收敛性;相比于最先进的全量检查点方法,在相同开销约束下SIC检查点频率提升了9~17倍,存储开销仅为3%。因此,SIC兼具了高执行效率、低存储开销的优势。
-
关键词
大语言模型
容错训练
检查点技术
增量检查点
-
Keywords
large language model
fault-tolerant training
checkpointing
incremental checkpointing
-
分类号
TP301
[自动化与计算机技术—计算机系统结构]
TP333.1
[自动化与计算机技术—计算机系统结构]
-
-
题名多簇超长指令字DSP复数运算的编译优化
被引量：3
- 2
-
-
作者
丁陈飞
郑启龙
徐华叶
付和萍
陈元
-
机构
中国科学技术大学安徽省高性能计算重点实验室
中国科学技术大学计算机科学与技术学院
-
出处
《计算机应用与软件》
CSCD
2015年第2期14-17,共4页
-
基金
核高基重大专项(2012ZX01034-001-001)
-
文摘
多簇超长指令字(VLIW)DSP提供了多种复数指令,而编译器不能直接利用这些复数指令来提升编译性能。特此提出一种针对复数运算的编译优化方法,通过将复数操作基本块中加载指令和存储指令前移后置操作使得复数运算操作汇聚成连续操作片寻找复数指令合成的机会。实验结果表明该优化方法能减少复数程序的时钟周期。
-
关键词
多簇
超长指令字
复数指令
编译优化
-
Keywords
Multi-cluster VLIW Complex instruction Compilation optimisation
-
分类号
TP314
[自动化与计算机技术—计算机软件与理论]
-
-
题名基于差异性代码克隆的代码块补全提示方法
被引量：1
- 3
-
-
作者
殷康麒
吴鸣
王鹏程
徐云
-
机构
中国科学技术大学计算机科学与技术学院
中国科学技术大学安徽省高性能计算重点实验室
-
出处
《计算机工程》
CAS
CSCD
北大核心
2020年第1期196-200,207,共6页
-
基金
国家自然科学基金面上项目(61672480)
-
文摘
在软件编程中,通过代码补全提示可以提高编码效率,但目前缺乏有效的工具和手段从规模差异较大的相似代码中找到合适的候选代码。针对该问题,基于差异性代码克隆技术设计一种新的代码块补全提示方法。通过改进基于滑动窗口和带误匹配索引的匹配算法,寻找与待补全代码块相似的候选代码块,并对其进行特征提取、聚类和相关性排名,以此获得候选代码块的提示顺序。实验结果表明,与HILL等人提出的代码块补全提示方法相比,该方法提示准确率较高,并且适用于更多代码块补全场景。
-
关键词
代码补全提示
代码克隆
特征提取
聚类
编码
集成开发环境
-
Keywords
code completion suggestion
code clone
feature extraction
clustering
coding
Integrated Development Environment(IDE)
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名神经网络化简非多项式混合布尔算术表达式
被引量：1
- 4
-
-
作者
刘彬彬
凤维杰
郑启龙
李京
-
机构
中国科学技术大学计算机科学与技术学院
中国科学技术大学安徽省高性能计算重点实验室
-
出处
《小型微型计算机系统》
CSCD
北大核心
2023年第3期449-455,共7页
-
基金
国家核高基重大专项项目(2012ZX01034-001-001)资助。
-
文摘
混合布尔算术表达式是指混合使用了位运算符和算术运算符的表达式,其是一种先进的软件混淆技术.现有的反混淆方法虽然能够化简特定类型的混合布尔算术表达式,但是对非多项式混合布尔算术表达式仅有有限的化简效果.本文提出一种字符串到字符串的解决方案NeuSim,它通过神经网络来学习和化解非多项式混合布尔算术表达式.首先,本文分别构建基于序列到序列架构和图序列架构的神经网络模型.其次,本文生成一个大规模的非多项式混合布尔算术表达式数据集,它包含一百万个形式多样的表达式样本.在数据集上训练之后,NeuSim可以将一个非多项式混合布尔算术表达式化简为等价的简单表达式.实验结果表明,NeuSim的化简正确率是已有方法的8倍,并且其化简时间低于0.01秒.
-
关键词
混合布尔算术表达式
表达式化简
序列到序列神经网络
图序列神经网络
-
Keywords
Mixed Boolean-Arithmetic expression
expression simplification
sequence-to-sequence neural network
graph-to-sequence neural network
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
