-
题名基于多模态注意力机制的跨模态哈希网络
被引量：2
- 1
-
-
作者
吴吉祥
鲁芹
李伟霄
-
机构
齐鲁工业大学(山东省科学院)计算机科学与技术学院
中移动信息技术有限公司内审部
-
出处
《计算机工程与应用》
CSCD
北大核心
2022年第20期229-239,共11页
-
基金
国家重点研发计划项目(2019YFB1404700)。
-
文摘
深度跨模态哈希算法(deep cross-modal Hash,DCMH)可以结合哈希算法存储成本低、检索速度快的优点,以及深度神经网络提取特征的强大能力,得到了越来越多的关注。它可以有效地将模态的特征和哈希表示学习集成到端到端框架中。然而在现有的DCMH方法的特征提取中,基于全局表示对齐的方法无法准确定位图像和文本中有语义意义的部分,导致在保证检索速度的同时无法保证检索的精确度。针对上述问题,提出了一种基于多模态注意力机制的跨模态哈希网络(HX_MAN),将注意力机制引入到DCMH方法中来提取不同模态的关键信息。利用深度学习来提取图像和文本模态的全局上下文特征,并且设计了一种多模态交互门来将图像和文本模态进行细粒度的交互,引入多模态注意力机制来更精确地捕捉不同模态内的局部特征信息,将带有注意的特征输入哈希模块以获得二进制的哈希码;在实行检索时,将任一模态的数据输入训练模块中来获得哈希码,计算该哈希码与检索库中哈希码的汉明距离,最终根据汉明距离按顺序输出另一种模态的数据结果。实验结果表明:HX_MAN模型与当前现有的DCMH方法相比更具有良好的检索性能,在保证检索速度的同时,能够更准确地提炼出图像和文本模态的局部细粒度特征,提高了检索的精确度。
-
关键词
跨模态检索
注意力机制
深度哈希
多模态学习
-
Keywords
cross-modal retrieval
attention mechanism
deep Hash
multai-modal learning
-
分类号
TP391.3
[自动化与计算机技术—计算机应用技术]
-
