-
题名基于内容语义感知多模态融合的图像增强方法
- 1
-
-
作者
祝汉城
刘新宇
姚睿
邵志文
周勇
李雷达
-
机构
中国矿业大学计算机科学与技术学院/人工智能学院
-
出处
《电子学报》
2025年第7期2252-2265,共14页
-
基金
国家自然科学基金(No.62101555,No.62172417,No.62472424,No.62272461,No.62106268)。
-
文摘
在图像增强方法中,基于曲线映射的修饰策略因其能够很好地保留图像的原始内容信息而成为研究的热点.现有的基于曲线映射方法通常只关注修饰前后图像色彩空间的映射关系,而忽略了图像内容对修饰结果的影响,导致具有相似色彩的不同图像内容修饰得不够精细和自然.针对上述问题,本文提出了一种基于内容语义感知多模态融合的图像增强方法,旨在通过引入描述图像内容语义感知信息的文本特征作为图像特征的补充,将图像和文本两个模态的特征进行融合得到内容语义感知的多模态特征,从而实现对图像不同内容的精细化修饰.首先,本文利用多模态大语言模型生成描述图像内容的文本信息,并将文本信息对图像的内容进行多模态提示学习,该方法能够使模型学习在内容文本信息的提示下对图像进行辅助增强;随后,提出了一种注意力机制将文本特征与图像特征进行充分交互融合生成多模态特征;最后,利用多模态特征建立修饰图像的曲线映射关系,从而可以有效地根据图像的内容进行针对性的修饰与增强.实验结果表明,本文提出方法在多个公开的基准数据集上取得了最优的性能表现,充分证明了融入内容语义感知信息在图像修饰任务上的有效性和优越性.
-
关键词
图像增强
文本生成
内容感知
多模态融合
曲线映射
-
Keywords
image enhancement
text generation
content-aware
multimodal fusion
curve mapping
-
分类号
TP391.4
[自动化与计算机技术]
-
