期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于动态多头注意力机制的藏文语言模型
被引量：
6
1
作者
张英
拥措
于韬
《计算机工程与设计》
北大核心
2023年第12期3707-3713,共7页
针对预训练过程中大规模训练语料句子长度跨度较大、特征数量不定的情况,提出一种基于动态多头注意力机制的藏文ALBERT语言模型。在训练过程中根据句子的词数动态获得注意力机制的头数,使语言模型可以捕获重要的特征信息,在藏文公开数据...
针对预训练过程中大规模训练语料句子长度跨度较大、特征数量不定的情况,提出一种基于动态多头注意力机制的藏文ALBERT语言模型。在训练过程中根据句子的词数动态获得注意力机制的头数,使语言模型可以捕获重要的特征信息,在藏文公开数据集TNCC上进行验证。实验结果表明,改进后的预训练模型能够动态学习句子中的重要特征,在目前的TNCC文本分类任务上F1值均取得最优,其长文本分类及短文本分类任务的Macro F1值分别为73.23%、64.47%。
展开更多
关键词
注意力
机制
动态注意力头数
藏文
预训练语言模型
文本分类
卷积神经网络
自然语言处理
在线阅读
下载PDF
职称材料
题名
基于动态多头注意力机制的藏文语言模型
被引量：
6
1
作者
张英
拥措
于韬
机构
西藏大学信息科学技术学院
西藏大学藏文信息技术教育部工程研究中心
西藏大学西藏自治区藏文信息技术人工智能重点实验室
出处
《计算机工程与设计》
北大核心
2023年第12期3707-3713,共7页
基金
科技创新2030——“新一代人工智能”重大基金项目(2022ZD0116100)
西藏自治区科技创新基地自主研究基金项目(XZ2021JR0002G)
+3 种基金
西藏大学学科建设能力提升计划基金项目(藏财预指[2023]1号)
西藏大学珠峰学科建设计划基金项目(f22002001)
西藏大学研究生高水平人才培养计划基金项目(2021-GSP-S124)
国家重点研发计划重点专项基金项目(2017YFB1402202)。
文摘
针对预训练过程中大规模训练语料句子长度跨度较大、特征数量不定的情况,提出一种基于动态多头注意力机制的藏文ALBERT语言模型。在训练过程中根据句子的词数动态获得注意力机制的头数,使语言模型可以捕获重要的特征信息,在藏文公开数据集TNCC上进行验证。实验结果表明,改进后的预训练模型能够动态学习句子中的重要特征,在目前的TNCC文本分类任务上F1值均取得最优,其长文本分类及短文本分类任务的Macro F1值分别为73.23%、64.47%。
关键词
注意力
机制
动态注意力头数
藏文
预训练语言模型
文本分类
卷积神经网络
自然语言处理
Keywords
attention mechanism
dynamic attention head number
Tibetan
pre-training language model
text classification
CNN
natural language processing
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于动态多头注意力机制的藏文语言模型
张英
拥措
于韬
《计算机工程与设计》
北大核心
2023
6
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
