基于跨模态对比学习的常识问答模型

1

作者 王元龙 刘亭华 张虎 《计算机应用》 北大核心 2025年第3期732-738,共7页

常识问答(CQA)是利用常识知识对自然语言问句进行自动求解以得到准确答案的任务,属于智能问答领域。该任务通常需要背景常识知识提升模型的求解能力,现有的大多数相关方法依赖于从文本数据中提取和利用常识。然而,常识通常具有隐含性,... 常识问答(CQA)是利用常识知识对自然语言问句进行自动求解以得到准确答案的任务,属于智能问答领域。该任务通常需要背景常识知识提升模型的求解能力,现有的大多数相关方法依赖于从文本数据中提取和利用常识。然而,常识通常具有隐含性,并不总是直接体现在文本内容中,影响了这些方法的应用范围和效果。因此,提出基于跨模态对比学习的CQA模型,以充分利用跨模态信息丰富常识的表达。首先,设计一个跨模态常识表示模块,以融合常识库和跨模态大模型,从而获取跨模态的常识表示;其次,对问题和选项的跨模态表示进行对比学习,从而增强模型对不同选项之间的区分能力;最后,利用softmax层为问题选项对生成相关性分数,并根据分数的高低确定最终的预测答案。在公开数据集CSQA(CommonSenseQA)和OBQA(OpenBookQA)上进行的实验结果表明,与DEKCOR(DEscriptive Knowledge for COmmonsense question answeRing)相比,所提模型的准确率分别提高了1.46和0.71个百分点。 展开更多

关键词 智能问答 常识问答 对比学习 跨模态常识 CLIP

在线阅读 下载PDF 职称材料

基于多源知识注入的常识问答方法研究 被引量：1

2

作者 朱嘉骏 包美凯 +2 位作者 张凯 刘烨 刘淇 《计算机工程与科学》 北大核心 2025年第2期349-360,共12页

常识问答任务致力于让模型回答人类常识问题。针对该任务的一类方法是检索相关的知识来辅助模型回答常识问题。该类方法主要分为知识查询和知识推理2个步骤。知识查询是指根据问题检索到与之相关联的知识,而知识推理是指利用检索到的知... 常识问答任务致力于让模型回答人类常识问题。针对该任务的一类方法是检索相关的知识来辅助模型回答常识问题。该类方法主要分为知识查询和知识推理2个步骤。知识查询是指根据问题检索到与之相关联的知识,而知识推理是指利用检索到的知识辅助回答常识问题。对此,常识问答面临的一个挑战是如何找到合适的外部知识来帮助回答问题。现有的许多常识问答模型通常依赖于单个外部知识源,但鉴于常识知识的广泛性和多样性,单一来源很难全面覆盖所需的所有知识。针对这一问题,提出了一种基于多源知识注入的常识问答方法。首先,在知识查询过程中为了应对知识覆盖度问题,利用预训练语言模型整合来自多个来源的知识(包括结构化和非结构化的知识),形成统一的知识表征;其次,在知识推理过程中为了充分利用结构化知识蕴含的语义关系,模型识别文本中的实体概念和实体之间的关系路径从而构建实体关系图,然后,利用图注意力网络对实体关系图建模;最后,利用实体关系图和实体知识表征中的证据信息对问题进行推理和解答。所提方法经预训练得到的模型在CommonsenseQA数据集上的测试结果显示,基于多源知识注入的常识问答方法在验证集和测试集上的准确率分别达到79.20%和75.02%,超过了最好的基线模型。实验结果表明了多源知识注入方法在常识问答任务中的有效性。 展开更多

关键词 常识问答 知识注入 预训练语言模型 图神经网络 注意力机制

在线阅读 下载PDF 职称材料

基于城乡差异的大学生成长与CQA平台关系调查

3

作者 刘宏哲 林盛 +1 位作者 刘金兰 白寅 《现代远程教育研究》 CSSCI 2013年第5期76-83,共8页

基于社区的在线问答平台(CQA)在大学生课堂内外的学习和实践中扮演着越来越重要的角色,但是不断扩大的城乡贫富差距使城市大学生和农村大学生已经异化为不同的群体,而这些群体对于CQA的态度和接受度是否存在差异还缺少相应的研究。已有... 基于社区的在线问答平台(CQA)在大学生课堂内外的学习和实践中扮演着越来越重要的角色,但是不断扩大的城乡贫富差距使城市大学生和农村大学生已经异化为不同的群体,而这些群体对于CQA的态度和接受度是否存在差异还缺少相应的研究。已有一些调查文献证明CQA系统对大学生自身成长具有积极的效应。这种效应在城乡大学生之间是否存在差异?农村学生对于CQA平台的态度和认知与城市学生相比有哪些不同?一项基于技术接受模型和自我决定理论的问卷对此进行了调查。在偏最小二乘的结构方程模型的数据分析下发现:相比于城市学生,农村学生从CQA的改进中所获得的收益较少;而相比于有用性,CQA在易用性方面的改进对学生的能力成长有着更为显著地效果,尽管目前系统在易用性上的表现还差强人意。 展开更多

关键词 社区问答平台（cqa） 城乡差异 结构方程模型 偏最小二乘 技术接受模型 自我决定理论

在线阅读 下载PDF 职称材料

一种基于上下文感知和知识增强的常识问答模型

4

作者 王琪 倪建成 《计算机应用与软件》 北大核心 2025年第8期382-389,共8页

常识问答旨在让机器模拟人类思考方式预测出正确答案,但因问题表述中不包含背景常识,从而对传统机器学习方法提出了巨大挑战。针对多背景知识融合问题,使用随机游走的方式获取常识知识图谱ConceptNet中答案实体的两跳相关实体,与给定问... 常识问答旨在让机器模拟人类思考方式预测出正确答案,但因问题表述中不包含背景常识,从而对传统机器学习方法提出了巨大挑战。针对多背景知识融合问题,使用随机游走的方式获取常识知识图谱ConceptNet中答案实体的两跳相关实体,与给定问答文本融合,增强后的问题输入到预训练模型RoBERTa中,利用上下文感知注意力,强化了问题与答案之间的语义表示。实验结果表明,有效地引入外部知识后,CAARK模型在CommonsenseQA数据集上有较好的表现,为解决常识问答问题提供了一种新范式。 展开更多

关键词 自然语言处理 常识问答 知识图谱 注意力机制

在线阅读 下载PDF 职称材料

融入三维语义特征的常识推理问答方法

5

作者 王红斌 房晓 江虹 《计算机应用》 CSCD 北大核心 2024年第1期138-144,共7页

现有使用预训练语言模型和知识图谱的常识问答方法主要集中于构建知识图谱子图及跨模态信息结合的研究,忽略了知识图谱自身丰富的语义特征,且缺少对不同问答任务的知识图谱子图节点相关性的动态调整,导致预测准确率低。为解决以上问题,... 现有使用预训练语言模型和知识图谱的常识问答方法主要集中于构建知识图谱子图及跨模态信息结合的研究,忽略了知识图谱自身丰富的语义特征,且缺少对不同问答任务的知识图谱子图节点相关性的动态调整,导致预测准确率低。为解决以上问题,提出一种融入三维语义特征的常识推理问答方法。首先提出知识图谱节点的关系层级、实体层级、三元组层级三维语义特征量化指标;其次,通过注意力机制动态计算关系层级、实体层级、三元组层级三种维度的语义特征对不同实体节点间的重要性;最后,通过图神经网络进行多层聚合迭代嵌入三维语义特征,获得更多的外推知识表示,更新知识图谱子图节点表示,提升答案预测精度。与QA-GNN常识问答推理方法相比,所提方法在CommonsenseQA数据集上的验证集和测试集的准确率分别提高了1.70个百分点和0.74个百分点,在OpenBookQA数据集上使用AristoRoBERTa数据处理方法的准确率提高了1.13个百分点。实验结果表明,所提出的融入三维语义特征的常识推理问答方法能够有效提高常识问答任务准确率。 展开更多

关键词 常识问答 知识图谱 图神经网络 语义特征 注意力机制

在线阅读 下载PDF 职称材料

常识问答研究综述 被引量：1

6

作者 范怡帆 邹博伟 +2 位作者 徐庆婷 李志峰 洪宇 《软件学报》 EI CSCD 北大核心 2024年第1期236-265,共30页

常识问答是一项重要的自然语言理解任务,旨在利用常识知识对自然语言问句进行自动求解,以得到准确答案.常识问答在虚拟助手或社交聊天机器人等领域有着广泛的应用前景,且其蕴涵了知识挖掘与表示、语言理解与计算、答案推理和生成等关键... 常识问答是一项重要的自然语言理解任务,旨在利用常识知识对自然语言问句进行自动求解,以得到准确答案.常识问答在虚拟助手或社交聊天机器人等领域有着广泛的应用前景,且其蕴涵了知识挖掘与表示、语言理解与计算、答案推理和生成等关键科学问题,因而受到工业界和学术界的广泛关注.首先介绍常识问答领域的主要数据集;其次,归纳不同常识知识源在构建方式、常识来源和表现形式上的区别;同时,重点分析并对比前沿常识问答模型,以及融合常识知识的特色方法.特别地,根据不同问答任务场景中常识知识的共性和特性,建立包含属性、语义、因果、语境、抽象和意图6大类的知识分类体系.以此为支撑,针对常识知识数据集建设,感知知识融合和预训练语言模型的协作机制,以及在此基础上的常识知识预分类技术,进行前瞻性的研究,并具体报告上述模型在跨数据集迁移场景下的性能变化,及其在常识答案推理中的潜在贡献.总体上,包含对现有数据和前沿技术的回顾,也包含面向跨数据知识体系建设、技术迁移与通用化的预研内容,借以在汇报领域技术积累的前提下,为其理论和技术的进一步发展提供参考意见. 展开更多

关键词 常识问答 常识知识源 常识知识类型

在线阅读 下载PDF 职称材料

问答系统研究综述 被引量：60

7

作者 毛先领 李晓明 《计算机科学与探索》 CSCD 2012年第3期193-207,共15页

近年来,问答系统被大量广泛地研究。问答系统的目标是给定一个问题,能够得到简短、精确的答案。根据处理数据的不同,将问答系统分为三类:基于结构化数据的问答系统、基于自由文本的问答系统、基于问题答案对的问答系统。对这三大类系统... 近年来,问答系统被大量广泛地研究。问答系统的目标是给定一个问题,能够得到简短、精确的答案。根据处理数据的不同,将问答系统分为三类:基于结构化数据的问答系统、基于自由文本的问答系统、基于问题答案对的问答系统。对这三大类系统的特点、面临的问题和相关的研究分别进行了叙述和总结。最后,讨论了问答系统未来可能的研究方向。 展开更多

关键词 问答系统(QA) 传统问答系统(TQA) 基于社区的问答系统(cqa) 信息检索 答案抽取

在线阅读 下载PDF 职称材料

面向问答社区的粗粒度问句分类算法 被引量：3

8

作者 延霞 范士喜 《计算机应用与软件》 CSCD 北大核心 2013年第1期219-222,286,共5页

面向问答社区的问答系统CQA(Community Question Answer)是近年来研究的热点,针对系统中问句分类的复杂性,提出一个粗粒度的分类体系及多标记多分类的问句分类算法——MLMC。基于SVM分类模型实现一个完整的分类系统,总体分类精度达到73... 面向问答社区的问答系统CQA(Community Question Answer)是近年来研究的热点,针对系统中问句分类的复杂性,提出一个粗粒度的分类体系及多标记多分类的问句分类算法——MLMC。基于SVM分类模型实现一个完整的分类系统,总体分类精度达到73.6%。 展开更多

关键词 问答系统 问答社区 问句分类 支持向量机 多标记多分类

在线阅读 下载PDF 职称材料

社区问答网站中问题的刻面组织方法——以知乎网站为例 被引量：4

9

作者 何绯娟 郭朝彤 +2 位作者 吴蓓 缪相林 刘均 《情报杂志》 CSSCI 北大核心 2018年第3期182-186,共5页

[目的/意义]社区问答(Community Question Answering,CQA)已成为当前主流的在线知识共享方式。目前,大多数CQA网站都采用了基于主题的问题组织方式。这类组织方式很难满足用户细粒度的问题检索与定位需求。[方法/过程]将主题的刻面(Fac... [目的/意义]社区问答(Community Question Answering,CQA)已成为当前主流的在线知识共享方式。目前,大多数CQA网站都采用了基于主题的问题组织方式。这类组织方式很难满足用户细粒度的问题检索与定位需求。[方法/过程]将主题的刻面(Facet)信息引入问题组织,提出了一种针对CQA网站中问题的刻面组织方法。该方法包括离线与在线两个过程,离线过程利用Wikipedia中的目录信息与相关主题间的刻面相似性生成特定主题的刻面结构;在线过程则利用迁移学习技术建立主题与刻面的映射关系。通过这两个过程,将问题组织成"主题-刻面-问题"层次结构。[结果 /结论]以知乎网站中"数据结构"领域相关知识主题的问题为对象进行了实验,验证了所提刻面组织方法的有效性。 展开更多

关键词 社区问答 卷积神经网络 刻面组织 刻面抽取 维基百科

在线阅读 下载PDF 职称材料

结合注意力与循环神经网络的专家推荐算法 被引量：6

10

作者 吕晓琦 纪科 +4 位作者 陈贞翔 孙润元 马坤 邬俊 李浥东 《计算机科学与探索》 CSCD 北大核心 2022年第9期2068-2077,共10页

在线问答社区(CQA)已经成为互联网最重要的知识分享交流平台,将用户提出的海量问题有效推荐给可能解答的用户,挖掘用户感兴趣的问题是此类平台最核心功能。一些针对问答社区的专家推荐算法已经被提出用来提高平台解答效率,但是现有工作... 在线问答社区(CQA)已经成为互联网最重要的知识分享交流平台,将用户提出的海量问题有效推荐给可能解答的用户,挖掘用户感兴趣的问题是此类平台最核心功能。一些针对问答社区的专家推荐算法已经被提出用来提高平台解答效率,但是现有工作大多关注于用户兴趣与问题信息匹配,忽视了用户兴趣动态变化问题,可能会严重影响推荐质量。提出了结合注意力与循环神经网络的专家推荐算法,不仅实现了问题信息的深度特征编码,而且还能捕获动态变化的用户兴趣。首先,问题编码器在预训练词嵌入基础上结合卷积神经网络(CNN)和Attention注意力机制实现了问题标题与绑定标签的深度特征联合表示。然后,用户编码器在用户历史回答问题的时间序列上利用长短期记忆神经网络Bi-GRU模型捕捉动态兴趣,并结合用户固定标签信息表征长期兴趣。最后,根据两个编码器输出向量的相似性计算产生用户动态兴趣与长期兴趣相结合的推荐结果。在来自知乎问答社区的真实数据上进行了不同参数配置及不同算法的对比实验,结果表明该算法性能明显优于目前比较流行的深度学习专家推荐算法。 展开更多

关键词 社区问答(cqa) 专家推荐 深度学习 注意力机制 循环神经网络(RNN)

在线阅读 下载PDF 职称材料

基于关键信息的问题相似度计算 被引量：4

11

作者 齐乐 张宇 刘挺 《计算机研究与发展》 EI CSCD 北大核心 2018年第7期1539-1547,共9页

判断问题相似是社区问答(community question answer,CQA)中很重要的一个研究方向.社区问答中的问题通常由主题和描述构成.由于社区问答的开放性,用户的提问长短不一,而问题中会包含大量干扰模型判断问题是否相似的背景信息.为了减少上... 判断问题相似是社区问答(community question answer,CQA)中很重要的一个研究方向.社区问答中的问题通常由主题和描述构成.由于社区问答的开放性,用户的提问长短不一,而问题中会包含大量干扰模型判断问题是否相似的背景信息.为了减少上述问题对计算问题相似度的影响,模型将关键词及问题主题视为问题的关键信息,并使用这些信息计算问题相似度.首先,在基于文本间相似及相异信息的CNN模型的基础上引入了关键词抽取技术.同时,为了更好地利用问题主题的信息,模型融合了问题主题相似度的特征.模型在SemEval2017评测的问题相似任务中进行了实验,其平均精度均值(mean average precision,MAP)达到了49.65%,超过了评测中的最佳结果. 展开更多

关键词 问题相似 社区问答 关键词 问题主题 卷积神经网络

在线阅读 下载PDF 职称材料

面向问答社区的中文问题分类 被引量：10

12

作者 董才正 刘柏嵩 《计算机应用》 CSCD 北大核心 2016年第4期1060-1065,共6页

传统的问题分类体系大都基于事实类问题,传统的问题分类方法也比较依赖于疑问词这一分类特征,但问答社区(CQA)中非事实类问题居多,且许多问题并不包含疑问词,为此,提出一种面向问答社区的粗粒度分类体系,并在此基础上提出一种基于疑问... 传统的问题分类体系大都基于事实类问题,传统的问题分类方法也比较依赖于疑问词这一分类特征,但问答社区(CQA)中非事实类问题居多,且许多问题并不包含疑问词,为此,提出一种面向问答社区的粗粒度分类体系,并在此基础上提出一种基于疑问词的层次化结构问题分类方法。该方法首先自动识别问题中的疑问词,若疑问词存在,则用支持向量机(SVM)模型进行分类;而对没有疑问词的问题,则用所构造的基于焦点词的分类器进行分类。通过在从中文问答社区知乎中所爬取的问题数据集上进行实验,与传统的基于SVM模型的分类方法相比,该方法的分类准确率提高了4.7个百分点。实验结果表明,这种根据问题是否含有疑问词而选择不同分类器的方法,减轻了分类方法对疑问词的依赖,能有效提高问答社区中问题分类的准确率。 展开更多

关键词 中文问题分类 问答社区 层次分类 支持向量机 焦点词

在线阅读 下载PDF 职称材料

基于视觉和语言的跨媒体问答与推理研究综述 被引量：5

13

作者 武阿明 姜品 韩亚洪 《计算机科学》 CSCD 北大核心 2021年第3期71-78,共8页

基于视觉和语言的跨媒体问答与推理是人工智能领域的研究热点之一,其目的是基于给定的视觉内容和相关问题,模型能够返回正确的答案。随着深度学习的飞速发展及其在计算机视觉和自然语言处理领域的广泛应用,基于视觉和语言的跨媒体问答... 基于视觉和语言的跨媒体问答与推理是人工智能领域的研究热点之一,其目的是基于给定的视觉内容和相关问题,模型能够返回正确的答案。随着深度学习的飞速发展及其在计算机视觉和自然语言处理领域的广泛应用,基于视觉和语言的跨媒体问答与推理也取得了较快的发展。文中首先系统地梳理了当前基于视觉和语言的跨媒体问答与推理的相关工作,具体介绍了基于图像的视觉问答与推理、基于视频的视觉问答与推理以及基于视觉常识推理模型与算法的研究进展,并将基于图像的视觉问答与推理细分为基于多模态融合、基于注意力机制和基于推理3类,将基于视觉常识推理细分为基于推理和基于预训练2类;然后总结了目前常用的问答与推理数据集,以及代表性的问答与推理模型在这些数据集上的实验结果;最后展望了基于视觉和语言的跨媒体问答与推理的未来发展方向。 展开更多

关键词 跨媒体问答与推理 图像问答与推理 视频问答与推理 视觉常识问答与推理 多模态融合 注意力机制 预训练

在线阅读 下载PDF 职称材料

基于用户-标签异构网络的社区问答专家发现方法 被引量：2

14

作者 黄辉 刘永坚 解庆 《计算机工程》 CAS CSCD 北大核心 2020年第2期53-58,共6页

在Stack Overflow、Quora等社区问答网站中,日益增长的用户数使新问题数量急剧增加,传统的专家发现方法通常根据历史回答记录建立用户文档,再从中提取用户文本特征,难以及时寻找到合适的专家进行回答。针对该问题,提出一种社区问答中基... 在Stack Overflow、Quora等社区问答网站中,日益增长的用户数使新问题数量急剧增加,传统的专家发现方法通常根据历史回答记录建立用户文档,再从中提取用户文本特征,难以及时寻找到合适的专家进行回答。针对该问题,提出一种社区问答中基于用户-标签异构网络的专家发现方法。根据用户历史回答记录和问题的附带标签构建用户-标签网络,以此得到用户的向量表示。在此基础上,使用全连接神经网络提取用户特征和问题文本特征,通过比较两者的余弦相似度得到候选专家列表。基于StackExchange的真实世界数据集进行测试,实验结果表明,与LDA、STM、RankingSVM和QR-DSSM方法相比,该方法的MRR指标值较高,能够准确寻找到可提供正确答案的专家。 展开更多

关键词 社区问答 专家发现 问题路由 深度学习 网络嵌入

在线阅读 下载PDF 职称材料

基于课程学习的无监督常识问答模型 被引量：2

15

作者 李伟 黄贤英 冯雅茹 《计算机应用研究》 CSCD 北大核心 2023年第6期1674-1678,1685,共6页

无监督常识问答是利用机器自动生成问答数据来对模型进行训练的问答模型,目前方法生成的问答数据中存在噪声数据和问题的难度随机的问题。提出一种基于课程学习的无监督常识问答模型,首先根据知识生成问答数据集,再对问答数据集进行多... 无监督常识问答是利用机器自动生成问答数据来对模型进行训练的问答模型,目前方法生成的问答数据中存在噪声数据和问题的难度随机的问题。提出一种基于课程学习的无监督常识问答模型,首先根据知识生成问答数据集,再对问答数据集进行多样化评估和流畅性评估,结合两个评估结果进行数据过滤,去除噪声数据;最后根据课程学习策略,使用干扰项与正确答案的相似度作为问题难度评估标准,使得模型根据难度等级来进行训练。在测试任务上具有1.5%~3.5%的准确率提升,证明了该模型在无监督常识问答任务上的有效性。 展开更多

关键词 无监督常识问答 数据过滤 课程学习 噪声数据

在线阅读 下载PDF 职称材料

跨模态视觉问答与推理研究进展

16

作者 张飞飞 张建庆 +1 位作者 屈思佳 周琬婷 《数据采集与处理》 CSCD 北大核心 2023年第1期1-20,共20页

随着社交媒体和人机交互技术的快速发展,视频、图像以及文本等多模态数据在互联网中呈爆炸式增长,因此多模态智能研究受到关注。其中,视觉问答与推理任务是跨模态智能研究的一个重要组成部分,也是人类实现人工智能的重要基础,已成功应... 随着社交媒体和人机交互技术的快速发展,视频、图像以及文本等多模态数据在互联网中呈爆炸式增长,因此多模态智能研究受到关注。其中,视觉问答与推理任务是跨模态智能研究的一个重要组成部分,也是人类实现人工智能的重要基础,已成功应用于人机交互、智能医疗以及无人驾驶等领域。本文对视觉问答与推理的相关算法进行了全面概括和归类分析。首先,介绍了视觉问答与推理的定义,并简述了当前该任务面临的挑战;其次,从基于注意力机制、基于图网络、基于预训练、基于外部知识库和基于可解释推理机制5个方面对现有方法进行总结和归纳;然后,全面介绍了视觉问答与推理常用公开数据集,并对相关数据集上的已有算法进行详细分析;最后,对视觉问答与推理任务的未来方向进行了展望。 展开更多

关键词 视觉问答 视觉常识推理 可解释推理 语义对齐

在线阅读 下载PDF 职称材料