-
题名跨模态时尚检索的服装分层特征表示和关联学习
- 1
-
-
作者
姜爱萍
刘骊
付晓东
刘利军
彭玮
-
机构
昆明理工大学信息工程与自动化学院
昆明理工大学云南省计算机技术应用重点实验室
-
出处
《计算机辅助设计与图形学学报》
北大核心
2025年第4期654-667,共14页
-
基金
国家自然科学基金(62262036,62362043,61962030)
云南省中青年学术和技术带头人后备人才培养计划(202005AC160036)。
-
文摘
针对时尚服装的图像和文本具有匹配视角单一、服装信息粒度细且模态关联性弱,导致跨模态时尚检索图文匹配不准确的问题,提出跨模态时尚检索的服装分层特征表示和关联学习方法.首先以成对的服装图文及标签为输入,通过构建服装分层特征表示模块进行层次化的视觉和本文特征表示,提取得到服装图像的全局、款式、结构特征,以及服装文本的描述、主语、标签特征的分层表示;然后基于交叉注意和向量相似度进行层次化的关联计算,得到服装图文对的3层初始关系,并通过结合关系推理和聚合的分层关联学习,获得全局和描述、款式和主语、结构和标签3层关系;最终计算3层关系的关联得分,输出服装的图文匹配结果.在跨模态时尚检索基准数据集Fashion-gen上的实验结果表明,所提方法能够提升跨模态时尚检索的精度,与文中基线方法相比,在双向检索前1的召回率R@1上分别提升了10.26个百分点和14.22个百分点.
-
关键词
跨模态时尚检索
图文匹配
服装分层特征
表示学习
关联学习
-
Keywords
cross-modal fashion retrieval
image-text matching
clothing hierarchical feature
representation learning
association learning
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
