-
题名基于图提示的半监督开放词汇多标记学习
- 1
-
-
作者
李仲年
皇甫志宇
杨凯杰
营鹏
孙统风
许新征
-
机构
中国矿业大学计算机科学与技术学院
计算机辅助设计与图形系统全国重点实验室(浙江大学)
矿山数字化教育部工程研究中心(中国矿业大学)
-
出处
《计算机研究与发展》
北大核心
2025年第2期432-442,共11页
-
基金
国家自然科学基金项目(61976217,62306320)
江苏省自然科学基金项目(BK20231063)
+1 种基金
浙江大学计算机辅助设计与图形系统全国重点实验开放课题(A2424)
中国矿业大学研究生创新计划项目(2024WLJCRCZL262)。
-
文摘
半监督多标记学习利用有标记数据和无标记数据进行模型的训练,降低了多标记数据的标记成本并取得了不错的结果,吸引了很多研究者不断进行研究.然而,在半监督标注过程中,由于标记的数量较多,往往会出现某些标记缺失标注样本的情况,这些标记被称为开放词汇.开放词汇会导致模型无法学习到该类别的标记信息,使得模型性能下降. 针对上述问题,提出了基于图提示的半监督开放词汇多标记 学习方法. 具体地,该方法利用基于提示的图神经网络对预训练大模型进行微调,挖掘和探索开放词汇与 监督样本之间的关系. 通过使用包含图像与文本的多模态数据构造图神经网络作为预训练大模型的文本 输入进行学习. 其次利用预训练大模型在开放词汇上的泛化能力,对无监督样本生成伪标记,实现对输出 分类层的微调,使模型在对开放词汇进行分类时能获得更加理想的效果. 多个基准数据集上的实验结果 均显示,基于图提示的半监督开放词汇多标记学习方法优于目前的主流方法,在 VOC,COCO,CUB,NUS 等基准数据集上均取得了最优的效果.
-
关键词
半监督多标记学习
预训练模型
图神经网络
开放词汇
提示
-
Keywords
semi-supervised multi-label learning
pre-trained model
graph neural network
open vocabulary
prompt
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
