-
题名融合降噪微调与图注意力机制的藏文长文本分类
- 1
-
-
作者
敬容
万福成
黄锐
于洪志
马宁
-
机构
西北民族大学语言与文化计算教育部重点实验室
西北民族大学甘肃省民族语言文化智能信息处理重点实验室
-
出处
《计算机工程与科学》
北大核心
2025年第6期1133-1140,共8页
-
基金
国家自然科学基金(62366046)
甘肃省科技计划(24JRRA154)
西北民族大学基本科研业务费项目(31920240102)。
-
文摘
在藏文长文本分类任务中,长距离依赖问题尤为突出。同时,多语言预训练模型在处理藏文文本分类任务时也存在一定的偏差。针对以上问题,基于预训练语言模型CINO-Large,提出融合降噪微调与图注意力机制的藏文长文本分类方法。首先,在CINO-Large中引入不完全信任损失函数In-trust,通过任务适应性损失增强模型在下游任务中的泛化能力。其次,在图结构建模中引入滑动窗口和线性分类,选择性增加文档与文档边缘,提高节点间的特征区分度。最后,利用图注意力机制GAT捕捉不同节点在图中的重要性,完成藏文长文本分类任务。在TNCC中的新闻长文本上,由所提方法构建的模型的分类准确率达到了71.66%,与预训练语言模型CINO-Large相比,其准确率、精确度和F1分数分别提高了1.77%、2.67%和2.03%,在部分分类困难的子类别上,模型的F1分数能显著提升20%左右。
-
关键词
预训练模型
降噪微调
图注意力机制
藏文长文本分类
-
Keywords
pre-training model
denoising fine-tuning
graph attention mechanism
Tibetan long text classification
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
