期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于图像相对位置和负向感知的图文匹配
1
作者
余超
王铭硕
+1 位作者
赵子樵
于清
《现代电子技术》
北大核心
2024年第17期88-93,共6页
图文匹配任务在计算机视觉以及多模态信息处理领域引起了广泛关注。这一跨模态任务主要难点在于如何高效地提取视觉和文本的信息以及如何解决不一致图文冲突问题。文中提出了一种新颖的图像文本匹配方法,利用图像对象相对位置的注意力...
图文匹配任务在计算机视觉以及多模态信息处理领域引起了广泛关注。这一跨模态任务主要难点在于如何高效地提取视觉和文本的信息以及如何解决不一致图文冲突问题。文中提出了一种新颖的图像文本匹配方法,利用图像对象相对位置的注意力机制解决忽视图像中物体相对位置信息的问题,从而更好地关注视觉信息的提取,同时为了解决忽视图像-文本间不对齐内容相似度贡献的问题,运用了负向感知模块关注物体相对位置和文本中的单词非对齐的信息对相似度的负贡献,从而提高图像-文本匹配相似度的准确性。最后,在公开图文匹配数据集Flickr30K上达到了最好的r_(Sum),比当前最好的负向感知模型提高了7.3,取得了最先进的性能。
展开更多
关键词
多模态
图文匹配
视觉信息提取
相对位置编码
注意力机制
负向感知
在线阅读
下载PDF
职称材料
题名
基于图像相对位置和负向感知的图文匹配
1
作者
余超
王铭硕
赵子樵
于清
机构
新疆大学软件学院
新疆大学信息科学与工程学院
出处
《现代电子技术》
北大核心
2024年第17期88-93,共6页
基金
国家973重点研发计划项目(2014CB340506)。
文摘
图文匹配任务在计算机视觉以及多模态信息处理领域引起了广泛关注。这一跨模态任务主要难点在于如何高效地提取视觉和文本的信息以及如何解决不一致图文冲突问题。文中提出了一种新颖的图像文本匹配方法,利用图像对象相对位置的注意力机制解决忽视图像中物体相对位置信息的问题,从而更好地关注视觉信息的提取,同时为了解决忽视图像-文本间不对齐内容相似度贡献的问题,运用了负向感知模块关注物体相对位置和文本中的单词非对齐的信息对相似度的负贡献,从而提高图像-文本匹配相似度的准确性。最后,在公开图文匹配数据集Flickr30K上达到了最好的r_(Sum),比当前最好的负向感知模型提高了7.3,取得了最先进的性能。
关键词
多模态
图文匹配
视觉信息提取
相对位置编码
注意力机制
负向感知
Keywords
multimodality
image-text matching
visual information extraction
relative position encoding
attention mechanism
negative perception
分类号
TN911.73-34 [电子电信—通信与信息系统]
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于图像相对位置和负向感知的图文匹配
余超
王铭硕
赵子樵
于清
《现代电子技术》
北大核心
2024
0
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
