期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
大模型训练技术综述
被引量：
10
1
作者
田海东
张明政
+1 位作者
常锐
童贤慧
《中兴通讯技术》
北大核心
2024年第2期21-28,共8页
实现高效训练已成为影响大模型应用普及的关键要素之一。按照数据准备、数据加载、模型初始化及评估、训练并行、模型状态保存的一般训练流程,对大模型高效训练的主要技术进行分析和论述。面对大模型规模的持续增长、数据处理类型的扩展...
实现高效训练已成为影响大模型应用普及的关键要素之一。按照数据准备、数据加载、模型初始化及评估、训练并行、模型状态保存的一般训练流程,对大模型高效训练的主要技术进行分析和论述。面对大模型规模的持续增长、数据处理类型的扩展,现有大模型训练技术仍存在较大的优化空间。认为未来大模型训练重点研究方向包括以数据为中心、数据加载智能化和异构加速、网络通信领域定制、训练并行及自动化。
展开更多
关键词
大模型
数据准备
数据加载
模型初始化
模型评估
训练并行
训练网络
检查点
在线阅读
下载PDF
职称材料
题名
大模型训练技术综述
被引量：
10
1
作者
田海东
张明政
常锐
童贤慧
机构
中兴通讯股份有限公司
出处
《中兴通讯技术》
北大核心
2024年第2期21-28,共8页
文摘
实现高效训练已成为影响大模型应用普及的关键要素之一。按照数据准备、数据加载、模型初始化及评估、训练并行、模型状态保存的一般训练流程,对大模型高效训练的主要技术进行分析和论述。面对大模型规模的持续增长、数据处理类型的扩展,现有大模型训练技术仍存在较大的优化空间。认为未来大模型训练重点研究方向包括以数据为中心、数据加载智能化和异构加速、网络通信领域定制、训练并行及自动化。
关键词
大模型
数据准备
数据加载
模型初始化
模型评估
训练并行
训练网络
检查点
Keywords
large model
data preparation
dataloader
model initialization
model evaluation
training parallelism
training network
checkpoint
分类号
TP391.1 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
大模型训练技术综述
田海东
张明政
常锐
童贤慧
《中兴通讯技术》
北大核心
2024
10
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
