-
题名基于跨模态对比学习的常识问答模型
- 1
-
-
作者
王元龙
刘亭华
张虎
-
机构
山西大学计算机与信息技术学院
-
出处
《计算机应用》
北大核心
2025年第3期732-738,共7页
-
基金
国家自然科学基金资助项目(62176145)。
-
文摘
常识问答(CQA)是利用常识知识对自然语言问句进行自动求解以得到准确答案的任务,属于智能问答领域。该任务通常需要背景常识知识提升模型的求解能力,现有的大多数相关方法依赖于从文本数据中提取和利用常识。然而,常识通常具有隐含性,并不总是直接体现在文本内容中,影响了这些方法的应用范围和效果。因此,提出基于跨模态对比学习的CQA模型,以充分利用跨模态信息丰富常识的表达。首先,设计一个跨模态常识表示模块,以融合常识库和跨模态大模型,从而获取跨模态的常识表示;其次,对问题和选项的跨模态表示进行对比学习,从而增强模型对不同选项之间的区分能力;最后,利用softmax层为问题选项对生成相关性分数,并根据分数的高低确定最终的预测答案。在公开数据集CSQA(CommonSenseQA)和OBQA(OpenBookQA)上进行的实验结果表明,与DEKCOR(DEscriptive Knowledge for COmmonsense question answeRing)相比,所提模型的准确率分别提高了1.46和0.71个百分点。
-
关键词
智能问答
常识问答
对比学习
跨模态常识
CLIP
-
Keywords
intelligent question answering
Commonsense Question Answering(CQA)
contrastive learning
crossmodal commonsense
Contrastive Language-Image Pre-training(CLIP)
-
分类号
TP391.7
[自动化与计算机技术—计算机应用技术]
-
