-
题名基于反射分类与梯度恢复的单幅图像去反射模型
- 1
-
-
作者
解庆
张凌峰
马艳春
刘永坚
-
机构
武汉理工大学计算机与人工智能学院
数字出版智能服务技术教育部工程研究中心
武汉理工大学管理学院
-
出处
《计算机工程》
北大核心
2025年第4期227-238,共12页
-
基金
国家自然科学基金面上项目(62271360)
湖北省重点研发计划项目(2023BAB085)。
-
文摘
单幅图像反射去除是计算机视觉领域的一项重要任务。然而,现有的图像反射去除模型都基于反射污染区域属于模糊型反射这一前提,即反射区域仍然保留原始的图像内容信息。当污染图像中存在光斑反射时,图像原始内容信息完全丢失,导致现有模型无法从光斑区域中提取原始图像的透射层信息,从而使模型失效。针对这一问题,提出一种能够同时去除光斑与模糊反射的新模型,通过自定义的反射分类器和结构恢复器引导模型预测图像透射层的梯度图,并以此作为辅助条件,最终生成纯净的透射层图像。实验结果表明,该模型对不同类别的反射图像均具有较好的泛化性能,在艺术图像唐卡上,模型在结构相似度(SSIM)与峰值信噪比(PSNR)指标上均优于当前最优的反射去除模型,其中SSIM与最优模型相比提升了1.6%,PSNR提升了5.5%。在公共的自然场景数据集上的实验结果也表明该模型与当前最优模型性能相当。
-
关键词
单幅图像反射去除
反射分类
图像梯度恢复
生成对抗网络
注意力机制
-
Keywords
single image reflection removing
reflection classifier
image gradient restoration
generative adversarial network
attention mechanism
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于多模态融合的图神经网络推荐算法
被引量：3
- 2
-
-
作者
吴志强
解庆
李琳
刘永坚
-
机构
武汉理工大学计算机与人工智能学院
数字出版智能服务技术教育部工程研究中心
武汉理工大学重庆研究院
-
出处
《计算机工程》
CSCD
北大核心
2024年第1期91-100,共10页
-
基金
国家自然科学基金(62276196)
重庆市自然科学基金(cstc2021jcyj-msxmX1013)
湖北省重点研发计划项目(2021BAA030)。
-
文摘
已有的图神经网络(GNN)推荐算法大多利用用户-项目交互图的节点编号信息进行训练,学习用户-项目节点的高阶联系去丰富节点表示,但忽略了用户对不同模态信息的偏好,没有利用项目的图片、文本等模态信息,或对于不同模态特征的融合简单相加,不能区分用户对不同模态信息的偏好。针对上述问题,提出多模态融合的GNN推荐模型。首先针对单个模态,结合用户-项目交互二部图构建单模态图网络,在单模态图中学习用户对此模态信息的偏好;然后利用GAT聚合邻居信息,丰富本节点表示,同时根据门控循环单元决定是否聚合邻居信息,达到去噪效果;最后将各个模态图学习到的用户、项目表示通过注意力机制融合得到最终表示并送入预测模块。在MovieLens-20M、H&M两个数据集上的实验结果表明:多模态信息、注意力融合机制能有效提升推荐的准确度,算法模型在Precision@K、Recall@K和NDCG@K 3个指标上相较于基线最优算法均有显著提升;当评估指标K值选取10时,Precision@10、Recall@10和NDCG@10在两个数据集上分别提升了4.67%、2.42%、2.03%和2.49%、5.24%、2.05%。
-
关键词
多模态推荐
多模态融合
注意力机制
图神经网络
推荐系统
门控图神经网络
-
Keywords
multimodal recommendation
multimodal fusion
attention mechanism
Graph Neural Network(GNN)
recommendation system
gated Graph Neural Network(GNN)
-
分类号
TP391.3
[自动化与计算机技术—计算机应用技术]
-
-
题名基于去偏对比学习的多模态命名实体识别
被引量：1
- 3
-
-
作者
张鑫
袁景凌
李琳
刘佳
-
机构
武汉理工大学计算机与人工智能学院
数字出版智能服务技术教育部工程研究中心
中国科学院武汉文献情报中心
科技大数据湖北省重点实验室
-
出处
《中文信息学报》
CSCD
北大核心
2023年第11期49-59,共11页
-
基金
科技大数据湖北省重点实验室(中国科学院武汉文献情报中心)开放基金课题资助项目(20211h0437)
湖北重点研发计划项目(2021BAA030)
湖北省制造业高质量发展项目(2206-420118-89-04-959008)。
-
文摘
命名实体识别作为信息抽取的关键环节,在自然语言处理领域有着广泛应用。随着互联网上多模态信息的不断涌现,研究发现视觉信息有助于文本实现更加准确的命名实体识别。现有工作通常将图像视为视觉对象的集合,试图将图像中的视觉对象与文本中的实体显式对齐。然而,当二者在数量或语义上不一致时,这些方法往往不能很好地应对模态偏差,从而难以实现图像和文本之间的准确语义对齐。针对此问题,该文提出了一种基于去偏对比学习的多模态命名实体识别方法(DebiasCL),利用视觉对象密度指导视觉语境丰富的图文作为扩充样本,通过去偏对比学习优化图文共享的潜在语义空间学习,实现图像与文本间的隐式对齐。在Twitter-2015和Twitter-2017上进行实验,DebiasCL的F1值分别达到75.04%和86.51%,在“PER.”和“MISC.”类别数据中F1分别提升了5.23%和5.2%。实验结果表明,该方法可以有效缓解模态偏差,从而提升多模态命名实体识别系统性能。
-
关键词
多模态命名实体识别
对比学习
模态对齐
-
Keywords
multimodal named entity recognition
contrastive learning
modal alignment
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
