-
题名基于问题导向式提示调优小样本文本分类
- 1
-
-
作者
翟梦鑫
周艳玲
余杭
-
机构
湖北大学计算机与信息工程学院
湖北大学人工智能学院
-
出处
《计算机应用研究》
北大核心
2025年第3期708-713,共6页
-
基金
湖北省教育厅科学技术资助项目(D20221006)。
-
文摘
低资源场景下提示调优比带有额外分类器的通用微调方法(fine-tuning)分类性能好,但提示调优中设计一个较好的提示模板和标签词映射器需要花费大量的精力。针对该问题,提出问题导向式提示调优的小样本分类方法(question-oriented prompt-tuning,QPT)。首先,利用数据集标签和可训练的连续提示构建提问形式的模板,通过预训练模型学习到最优提示模板;然后,每条样本用模板进行填充,将文本分类任务转换成完形填空任务;最后,使用外部知识及两种细化方法构建标签词映射器,通过预测的标签词与分类标签的映射关系得出分类结果。在公开数据集AG’s News和IMDB上进行实验,结果表明,该方法在5-shot、10-shot和20-shot任务上性能均有所提升,在5-shot任务上准确率分别提高了0.81和1.36百分点,与基线模型相比,不仅易于实现且性能取得了最优。
-
关键词
小样本文本分类
提示调优
问题导向式模板
-
Keywords
few-shot text classification
prompt tuning
question-oriented template
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
-
题名基于文本图神经网络的小样本文本分类技术研究
被引量：1
- 2
-
-
作者
安相成
刘保柱
甘精伟
-
机构
中国电子科技集团公司第五十四研究所
-
出处
《河北科技大学学报》
CAS
北大核心
2024年第1期52-58,共7页
-
基金
河北省智能化信息感知与处理重点实验室发展基金(SXX22138X002)
LZH联合QB数据融合与共享服务项目。
-
文摘
为了解决文本图神经网络小样本文本分类精度较差的问题,设计了基于文本图神经网络的原型网络,采用预训练语言模型,利用文本级图神经网络为每个输入文本构建图并共享全局参数,将文本图神经网络的结果作为原型网络的输入,对未标注文本进行分类,并验证新模型在多个文本分类数据集上的有效性。实验结果表明,与需要大量标注文档的监督学习方法相比,所采用的方法未标注文本的分类精度提高了1%~3%,在多个文本分类数据集上验证了新模型性能先进,内存占用更少。研究结果可为解决小样本文本分类问题提供参考。
-
关键词
自然语言处理
小样本文本分类
预训练模型
图神经网络
原型网络
-
Keywords
natural language processing
few-shot text classification
pre-trained model
graph neural network
prototype network
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
