-
题名基于模态特异及模态共享特征信息的多模态细粒度检索
被引量：4
- 1
-
-
作者
李佩
陈乔松
陈鹏昌
邓欣
王进
朴昌浩
-
机构
重庆邮电大学计算机科学与技术学院
数据工程与认知计算重庆市重点实验室
-
出处
《计算机工程》
CAS
CSCD
北大核心
2022年第11期62-68,76,共8页
-
基金
国家自然科学基金(61806033)
国家社会科学基金西部项目(18XGL013)。
-
文摘
跨模态检索的目标是用户给定任意一个样本作为查询样例,系统检索得到与查询样例相关的各个模态样本,多模态细粒度检索在跨模态检索基础上强调模态的数量至少大于两个,且待检索样本的分类标准为细粒度子类,存在多模态数据间的异构鸿沟及细粒度样本特征差异小等难题。引入模态特异特征及模态共享特征的概念,提出一种多模态细粒度检索框架MS2Net。使用分支网络及主干网络分别提取不同模态数据的模态特异特征及模态共享特征,将两种特征通过多模态特征融合模块进行充分融合,同时利用各个模态自身的特有信息及不同模态数据间的共性及联系,增加高维空间向量中包含的语义信息。针对多模态细粒度检索场景,在center loss函数的基础上提出multi-center loss函数,并引入类内中心来聚集同类别且同模态的样本,根据聚集类内中心来间接聚集同类别但模态不同的样本,同时消减样本间的异构鸿沟及语义鸿沟,增强模型对高维空间向量的聚类能力。在公开数据集FG-Xmedia上进行一对一与一对多的模态检索实验,结果表明,与FGCrossNet方法相比,MS2Net方法 mAP指标分别提升65%和48%。
-
关键词
信息检索
多模态检索
细粒度检索
多模态表征学习
深度学习
-
Keywords
information retrieval
multi-modal retrieval
fine-grained retrieval
multi-modal representation learning
deep learning
-
分类号
TP391.3
[自动化与计算机技术—计算机应用技术]
-
-
题名面向细粒度草图检索的对抗训练三元组网络
被引量：4
- 2
-
-
作者
陈健
白琮
马青
郝鹏翼
陈胜勇
-
机构
浙江工业大学计算机科学与技术学院
浙江工业大学理学院
天津理工大学计算机科学与工程学院
-
出处
《软件学报》
EI
CSCD
北大核心
2020年第7期1933-1942,共10页
-
基金
国家重点研发计划(2018YFB1305200)
浙江省自然科学基金(LY18F020032,LY18F020034)
浙江省教育厅项目(Y201839922)。
-
文摘
将草图作为检索示例用于图像检索称为基于草图的图像检索,简称草图检索.其中,细粒度检索问题或类内检索问题是2014年被研究者提出并快速成为广受关注的研究方向.目前研究者通常用三元组网络来解决类内检索问题,且取得了不错的效果.但是三元组网络的训练非常困难,很多情况下很难收敛甚至不收敛,且存在着容易过拟合的风险.借鉴循环生成对抗训练的思想,设计了SketchCycleGAN帮助提高三元组网络训练过程的效率,以对抗训练的方式使其参与到三元组网络的训练过程中,通过充分挖掘数据集自身信息的方式取代了利用其他数据集进行预训练的过程,在简化训练步骤的基础上取得了更好的检索性能.通过在常用的细粒度草图检索数据集上的一系列对比实验,证明了所提方法的有效性和优越性.
-
关键词
基于草图的图像检索
细粒度检索
三元组网络
对抗训练
-
Keywords
sketch based image retrieval
fine-grained retrieval
triplet network
adversarial training
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于自适应三元组网络的细粒度图像检索算法
被引量：2
- 3
-
-
作者
潘丽丽
陈蓉玉
雷前慧
邵伟志
黄诗祺
-
机构
中南林业科技大学计算机与信息工程学院
-
出处
《郑州大学学报（理学版）》
北大核心
2021年第4期36-43,共8页
-
基金
国家自然科学基金项目(61772561)
湖南省自然科学基金项目(2021JJ31164)
湖南省重点研发计划项目(2018NK2012)。
-
文摘
立足于深度学习,提出面向细粒度图像的自适应三元组网络的鲁棒图像检索算法。首先,提出的视觉显著性检测方法被用来去除图像噪音,以便提取图像中目标主体辨识度更高的深度特征;然后,添加特征增强模块来提高深度特征的表征能力和鲁棒性;最后设计三元组网络,弥补传统分类模型特征判别能力不足的缺陷,获取更适用于细粒度图像检索的网络模型。经实验验证,采用视觉显著性检测、特征增强模块和自适应三元组损失函数方法构建的网络模型提取的深度特征不仅加快检索效率,同时也提高了检索精度。
-
关键词
细粒度图像检索
视觉显著性检测
卷积神经网络
特征增强模块
自适应三元组损失
-
Keywords
fine-grained image retrieval
visual significance detection
convolutional neural network
feature enhancement module
adaptive triplet loss
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名面向Web电子产品信息分布式检索系统的设计与实现
被引量：9
- 4
-
-
作者
张渊源
张琴燕
蒋关富
-
机构
浙江中医药大学信息技术学院
浙江大学计算中心
浙江大学计算机科学与技术学院
-
出处
《计算机应用》
CSCD
北大核心
2013年第4期1026-1030,共5页
-
基金
浙江教育厅科研项目(Y201225127)
浙江省自然科学基金资助项目(LY12F02029)
国家科技支撑计划项目(2011BAH16B04)
-
文摘
为了从这些海量信息中获取"有用的、满足用户需求的信息",提出一个基于Hadoop和Lucene技术的分布式检索系统架构处理Web电子产品信息检索。利用Hadoop的Map和Reduce实现分布式索引文件的存储,通过Lucene检索技术实现索引文件的访问,从而提高信息检索的效率。并且针对Lucene_Hadoop架构存在粗粒度检索问题,提出了一种细粒度检索方法,减少了系统建立索引的时间。实验表明基于Hadoop和Lucene的分布式检索系统在Web电子产品信息中具有较高的检索性能。
-
关键词
分布式检索系统
Web电子产品信息
HADOOP
LUCENE
细粒度检索
-
Keywords
distributed information retrieval system
Web electronic products information
Hadoop
Lucene
fine grain retrieval
-
分类号
TP311.5
[自动化与计算机技术—计算机软件与理论]
TP391.3
[自动化与计算机技术—计算机应用技术]
-
