-
题名基于多语义关联与融合的视觉问答模型
- 1
-
-
作者
周浩
王超
崔国恒
罗廷金
-
机构
海军工程大学作战运筹与规划系
国防科技大学理学院
-
出处
《计算机应用》
北大核心
2025年第3期739-745,共7页
-
基金
国家自然科学基金资助项目(62302516,62376281)
湖北省自然科学基金资助项目(2022CFC049)
湖南省湖湘青年人才项目(2021RC3070)。
-
文摘
弥合视觉图像和文本问题之间的语义差异是提高视觉问答(VQA)模型推理准确性的重要方法之一。然而现有的相关模型大多数基于低层图像特征的提取并利用注意力机制推理问题的答案,忽略了高层图像语义特征如关系和属性特征等在视觉推理中的作用。为解决上述问题,提出一种基于多语义关联与融合的VQA模型以建立问题与图像之间的语义联系。首先,基于场景图生成框架提取图像中的多种语义并把它们进行特征精炼后作为VQA模型的特征输入,从而充分挖掘图像场景中的信息;其次,为提高图像特征的语义价值,设计一个信息过滤器过滤图像特征中的噪声和冗余信息;最后,设计多层注意力融合和推理模块将多种图像语义分别与问题特征进行语义融合,以强化视觉图像重点区域与文本问题之间的语义关联。与BAN(Bilinear Attention Network)和CFR(Coarse-to-Fine Reasoning)模型的对比实验结果表明,所提模型在VQA2.0测试集上的准确率分别提高了2.9和0.4个百分点,在GQA测试集上的准确率分别提高了17.2和0.3个百分点。这表明所提模型能够更好地理解图像场景中的语义并回答组合式视觉问题。
-
关键词
多语义特征融合
视觉问答
场景图
属性注意力
关系注意力
-
Keywords
fusion of multiple semantic features
Visual Question Answering(VQA)
scene graph
attribute attention
relationship attention
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于属性感知辅助学习的细粒度性格推理
- 2
-
-
作者
高晓雅
王晶晶
李寿山
-
机构
苏州大学计算机科学与技术学院
-
出处
《郑州大学学报（理学版）》
CAS
北大核心
2021年第2期82-89,共8页
-
基金
国家自然科学基金项目(62006166,61672366,61673290)
江苏高校优势学科建设工程资助项目
中国博士后科学基金资助项目(2019M661930)。
-
文摘
针对存在的性格类别数量大的特点,提出了一种性格属性感知的辅助学习方法。首先对细粒度性格类别归纳标注,将其映射到多个粗粒度的性格属性。其次,将细粒度性格推理作为主任务,细粒度性格与粗粒度属性之间的映射作为辅助任务。最后,通过辅助学习机制联合学习两个任务。实验结果表明,提出的方法在细粒度性格推理任务上推理性能显著优于其他基准方法。
-
关键词
细粒度性格推理
大五人格体系
属性感知注意力机制
辅助学习
-
Keywords
fine-grained personality inference
big-5 personality traits
attribute-aware attention mechanism
auxiliary learning
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
