-
题名基于FLIP与联合相似性保持的跨模态哈希检索
- 1
-
-
作者
唐立军
杨政
赵男
翟苏巍
-
机构
云南电网有限责任公司电力科学研究院
-
出处
《计算机科学》
北大核心
2025年第S1期559-568,共10页
-
文摘
最近,监督跨模态检索技术引起了人们的极大关注。然而,目前的工作主要关注样本级别的语义关系来评估样本之间的语义相似性,而忽略了标签分布对提高检索性能的潜在影响。此外,现有方法仍然面临着特征提取结果差和处理速率相对缓慢等相关挑战。为了应对这些问题,文中提出了一种新方法,基于FLIP与联合相似性保持的跨模态哈希检索(FLIP-based Joint Similarity Preserving Hashing for Cross-Modal Retrieval,FJSPH)。具体来说,该方法利用快速语言图像预训练模型(Fast Language Image Pre-training Model,FLIP)来提取更准确的跨模态特征。为了进一步减少跨模态语义差异,文中尝试通过多模态比较学习来增强模态交互并更加细粒度化模态语义表示。此外,使用样本级相似度和聚类级相似度进一步利用不同模态之间的语义相关性。这种方法确保了具有相似语义的样本在汉明空间中更接近,从而产生更加具有区分性的哈希码。在3个跨模态数据集上的实验结果表明,FJSPH方法在跨模态哈希检索中表现出了优异的性能。
-
关键词
联合相似性保持
快速语言图像预训练模型
跨模态检索
基于样本的相似性
基于聚类的相似性
-
Keywords
Joint similarity preserving
Fast language-image pre-trained model
Cross-modal retrieval
Sample-wise similarity
Cluster-wise similarity
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
