题名 基于FLIP与联合相似性保持的跨模态哈希检索
1
作者
唐立军 杨政 赵男 翟苏巍
机构
云南电网有限责任公司电力科学研究院
出处
《计算机科学》
北大核心
2025年第S1期559-568,共10页
文摘
最近,监督跨模态检索技术引起了人们的极大关注。然而,目前的工作主要关注样本级别的语义关系来评估样本之间的语义相似性,而忽略了标签分布对提高检索性能的潜在影响。此外,现有方法仍然面临着特征提取结果差和处理速率相对缓慢等相关挑战。为了应对这些问题,文中提出了一种新方法,基于FLIP与联合相似性保持的跨模态哈希检索(FLIP-based Joint Similarity Preserving Hashing for Cross-Modal Retrieval,FJSPH)。具体来说,该方法利用快速语言图像预训练模型(Fast Language Image Pre-training Model,FLIP)来提取更准确的跨模态特征。为了进一步减少跨模态语义差异,文中尝试通过多模态比较学习来增强模态交互并更加细粒度化模态语义表示。此外,使用样本级相似度和聚类级相似度进一步利用不同模态之间的语义相关性。这种方法确保了具有相似语义的样本在汉明空间中更接近,从而产生更加具有区分性的哈希码。在3个跨模态数据集上的实验结果表明,FJSPH方法在跨模态哈希检索中表现出了优异的性能。
关键词
联合相似性保持 快速语言图像预训练模型 跨模态检索 基于样本的相似性 基于聚类的相似性
Keywords
Joint similarity preserving Fast language-image pre-trained model Cross-modal retrieval Sample-wise similarity Cluster-wise similarity
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 语义相似性保持的判别式跨模态哈希
被引量：1
2
作者
李鑫勇 滕少华 张巍 滕璐瑶
机构
广东工业大学计算机学院 莫纳什大学
出处
《计算机应用研究》
CSCD
北大核心
2021年第11期3359-3365,共7页
基金
广东省重点领域研发计划项目(2020B010166006) 国家自然科学基金资助项目(61972102) +1 种基金 广东省教育厅资助项目(粤教高函〔2018〕179号,粤教高函〔2018〕1号) 广州市科技计划资助项目(201903010107,201802030011,201802010026,201802010042,201604046017)。
文摘
针对跨模态哈希检索方法中存在标签语义利用不充分,从而导致哈希码判别能力弱、检索精度低的问题,提出了一种语义相似性保持的判别式跨模态哈希方法。该方法将异构模态的特征数据投影到一个公共子空间,并结合多标签核判别分析方法将标签语义中的判别信息和潜在关联嵌入到公共子空间中;通过最小化公共子空间与哈希码之间的量化误差提高哈希码的判别能力;此外,利用标签构建语义相似性矩阵,并将语义相似性保留到所学的哈希码中,进一步提升哈希码的检索精度。在LabelMe、MIRFlickr-25k、NUS-WIDE三个基准数据集上进行了大量实验,其结果验证了该方法的有效性。
关键词
跨模态检索 子空间学习 有监督哈希 相似性保持
Keywords
cross-modal retrieval subspace learning supervised hash similarity preservation
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 改进的局部和相似性保持特征选择算法
被引量：2
3
作者
李金霞 赵志刚 李强 吕慧显 李明生
机构
青岛大学计算机科学技术学院 青岛大学自动化与电气工程学院
出处
《计算机科学》
CSCD
北大核心
2020年第S01期480-484,共5页
基金
国家重点研发项目(2017YFB0203102)。
文摘
LSPE(Locality and Similarity Preserving Embedding)特征选择算法首先基于KNN定义图结构来保持数据的局部性,再基于定义图学习数据的低维重构系数来保持数据的局部性和相似性。两个步骤独立进行,缺乏交互。由于近邻个数是人为定义的,使得学习到的图结构不具备自适应的近邻,不是最优的,进而影响算法性能。为优化LSPE算法的性能,提出改进的局部和相似性保持特征选择算法,将图学习与稀疏重构、特征选择并入同一个框架,使得图学习和稀疏编码同时进行,其要求编码过程是稀疏的,自适应近邻的和非负的。所提算法旨在寻找一个能保持数据的局部性和相似性的投影,并对投影矩阵施加l(2,1)范数,进而选择能够保持局部性和相似性的相关特征。实验结果表明,改进后的算法减少了主观人为影响,消除了选择特征的不稳定性,对数据噪声鲁棒性更强,提高了图像分类的准确率。
关键词
稀疏重构 局部和相似性保持 特征选择 无监督学习
Keywords
Sparse reconstruction Locality and similarity preserving Feature selection Unsupervised learning
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
题名 有监督相似性保持的深度二阶哈希方法
4
作者
张建新 吴悦 张强 魏小鹏
机构
大连民族大学计算机科学与工程学院 大连大学先进设计与智能计算省部共建教育部重点实验室 大连理工大学计算机科学与技术学院
出处
《计算机科学》
CSCD
北大核心
2022年第S02期494-501,共8页
基金
国家自然科学基金(61972062) 辽宁省重点研发计划项目(2019JH2/10100030) +1 种基金 辽宁省自然科学基金(2019-MS-011) 国家民委中青年英才培养计划项目
文摘
近年来深度哈希方法因其存储效率高和查询速度快的优势在大规模图像检索领域受到了广泛关注。为改善深度成对有监督哈希方法在图像检索上的性能,从提高深度哈希获取图像特征的全局性和同类样本相似性角度出发,提出了一种有监督相似性保持的深度二阶哈希方法。该方法采用成对样本图像进行特征建模,并利用协方差估计来捕获样本图像的深度二阶信息,以获取具有良好全局表达能力的深度二阶哈希码;在此基础上,借鉴类哈希近似二值化来解决哈希映射过程中的非凸性问题,以更好地避免量化误差,同时基于多损失函数集成思想构建类别监督和相似性保持的联合约束,进而采用交替迭代的优化方式实现网络的端到端训练,最终确定样本图像的最优哈希码。在3个通用数据集上进行了广泛的实验,结果有效表明了所提出有监督相似性保持的深度二阶哈希方法的有效性。
关键词
深度哈希 二阶统计建模 类别监督 相似性保持 图像检索
Keywords
Deep hashing Second-order statistic modeling Category supervision Similarity preserving Image retrieval
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
题名 面向大规模图像检索的哈希学习综述
被引量：1
5
作者
张雪凝 刘兴波 宋井宽 聂秀山 王少华 尹义龙
机构
山东大学软件学院 山东建筑大学计算机科学与技术学院 电子科技大学计算机科学与工程学院
出处
《软件学报》
北大核心
2025年第1期79-106,共28页
基金
国家自然科学基金(62176141,62176139,61876098,62206160) 山东省自然科学基金青年项目(ZR2022QF082) +3 种基金 山东省自然科学基金重大基础研究项目(ZR2021ZD15) 山东省青年泰山项目(tsqn202103088) 山东省杰出青年基金(ZR2021JQ26) 山东建筑大学特聘教授专项。
文摘
随着互联网空间中图像数据的爆发式增长和图像应用领域的拓宽,大规模图像检索的需求与日俱增.哈希学习为大规模图像检索提供显著的存储与检索效率,并成为近年来一个研究热点.现有哈希学习综述存在着时效性弱与技术路线不清晰的问题,即多总结5–10年前的研究成果,且较少总结哈希学习算法各组成部分间的关联关系.鉴于此,通过总结近20年公开发表的哈希学习文献,对面向大规模图像检索的哈希学习进行系统的综述性研究.首先,介绍哈希学习的技术路线和哈希学习算法的主要组成部分,包括损失函数、优化策略及样本外扩展映射.其次,将面向图像检索的哈希学习算法分为无监督哈希方法和监督哈希方法两类,并分别梳理每类方法的研究现状和演化过程.然后,介绍哈希学习算法评估通用的图像数据集与评估指标,并通过对比实验分析部分经典算法的性能.最后,结合哈希学习的局限性与新挑战对其发展前景进行阶段性总结与展望.
关键词
图像检索 大规模数据 近似最近邻检索 哈希学习 相似性保持
Keywords
image retrieval large-scale data approximate nearest neighbor search hash learning similarity preserving
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
题名 强序列关系保持二值编码
被引量：1
6
作者
王振 孙福振 张龙波 刘萍萍
机构
山东理工大学计算机科学与技术学院 吉林大学计算机科学与技术学院
出处
《计算机应用研究》
CSCD
北大核心
2020年第12期3803-3806,3810,共5页
基金
国家自然科学基金资助项目(61841602) 山东省自然科学基金资助项目(ZR2018PF005)。
文摘
针对相对相似性保持哈希进行了研究,提出强序列关系保持二值编码,旨在保证数据点对在汉明空间和欧氏空间内的相对近邻关系具有较高的一致性,从而确保能在汉明空间内得到较优的近邻检索性能。针对相对近邻关系保持性能较弱的问题,提出建立基于四元组的相对相似性保持约束目标,并利用张量序列图构建满足特定序列约束条件的训练数据集,可有效降低训练复杂度。在训练过程中,迭代提升无法准确保持相对近邻关系数据点的权重值,使其在之后的训练过程中能够引起足够的重视,达到最小化残余性能损失的目的。在三个常用海量数据集上的近似近邻检索对比实验表明,强序列关系保持二值编码能够在汉明空间内获得较优的近似近邻检索性能。
关键词
哈希 二值编码 图像检索 相对相似性保持 自适应提升机制
Keywords
hash algorithm binary codes image retrieval relative similarity preserving ad-boost mechanism
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
题名 基于排序的监督离散跨模态哈希
被引量：3
7
作者
李慧琼 王永欣 陈振铎 罗昕 许信顺
机构
山东大学软件学院
出处
《计算机学报》
EI
CAS
CSCD
北大核心
2021年第8期1620-1635,共16页
基金
国家自然科学基金(61991411,61872428) 山东省重点研发项目(2019JZZY010127) +1 种基金 山东省自然科学基金项目(ZR2019ZD06,ZR2020QF036) 山东大学基本科研业务费专项资金(2019GN075)资助
文摘
近年来,随着信息技术的发展,图像、文本、视频、音频等多媒体数据呈现出快速增长的趋势。当处理大量数据时,某些传统检索方法的效率可能会受到影响,并且无法在可接受的时间内获得令人满意的准确性。此外,海量的数据还导致了巨大的存储消耗问题。为了解决上述问题,哈希学习被提出。现有的哈希学习方法首先为数据生成二进制哈希码,并且在学习中让原本相似的数据有相似的哈希码,让不相似的数据有不同的哈希码。然后,在学到的哈希码空间中,通过异或操作进行快速的相似性比较。通过用二进制哈希码代替数据原始的高维特征,可以达到显著降低存储成本的目的。基于哈希学习高效索引和快速查询的特点,其在跨模态检索领域受到了广泛的关注。但是目前的跨模态哈希方法面临着以下几个问题:(1)大多数方法都尝试保持样本间的成对相似性,而忽视了样本间的相对相似性,即样本的排序信息,但排序信息对检索有很重要的作用,因而导致这些方法效果并非最优;(2)许多基于成对相似性的哈希检索方法的时间复杂度为O(n2),无法直接扩展到大规模数据集上,具有一定的局限性;(3)为了简化离散求解问题,目前很多方法采用松弛策略来学习哈希码的近似解,但这种策略会引入较大的量化误差。为了解决以上问题,我们提出了一种基于排序的监督离散跨模态哈希方法(简称为RSDCH)。该方法由排序信息学习和哈希学习两步骤组成。在排序信息学习阶段,我们通过嵌入数据的流形结构和语义标签来学习一个具有排序信息的得分矩阵。在哈希学习阶段,我们通过保持学到的排序信息来生成训练样本的哈希码并学出对应的哈希函数。为了让模型能够更好地扩展到大规模数据集,我们使用了锚点采样策略,以获得可接受的且与训练样本数成线性关系的时间复杂度。为了学到高质量的哈希码表示,我们设计了两种有效的相似性保持策略。除此之外,为了避免松弛求解策略引入的量化误差,我们设计了一种交替迭代的优化算法来离散地学习哈希码。我们在MIRFlickr-25K及NUS-WIDE这两种广泛使用的多标签数据集上进行了对比实验。结果表明,本文提出的方法在平均精确率均值(MAP)、归一化折损累计增益(NDCG)、精确率-召回率曲线(Precision-Recall Curve)等方面均优于现有的几种跨模态哈希方法。通过消融实验,我们验证了RSDCH模型中各个模块的必要性和有效性。此外,我们还通过额外的实验测试了模型的收敛性、参数敏感性和训练效率,进一步验证了RSDCH模型的有效性。
关键词
跨模态检索 哈希学习 排序哈希 离散优化 相似性保持
Keywords
cross-modal retrieval learning to hash ranking-based hashing discrete optimization similarity preserving
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
