-
题名基于门控位置编码的壁画图像多级色彩还原
- 1
-
-
作者
徐志刚
张创
-
机构
兰州理工大学计算机与通信学院
-
出处
《计算机应用》
CSCD
北大核心
2024年第9期2931-2937,共7页
-
基金
国家自然科学基金资助项目(62161020)。
-
文摘
近年来,壁画图像的色彩还原研究已成为壁画文物保护和展示领域的一个热点问题。针对壁画色彩还原面临的整体特征信息难以有效提取和保持,局部色彩还原易出现假色以及色彩溢出等问题,提出基于门控位置编码的壁画图像多级色彩还原方法。首先,构建基于全局特征约束的编码器网络,并通过改进的多核多值池化算法提取图像的全局特征梯度作为下采样取值标准以建立壁画图像特征金字塔,从而减少壁画图像在特征编码过程中的整体特征损失;其次,为准确还原壁画图像的局部色彩信息,设计基于门控位置编码的色彩迁移模块,该模块通过约束空间域中内容特征与色彩特征之间相似性核的学习,构建色彩特征在待还原壁画图像中的准确映射,从而减少还原图像中的假色现象与色彩溢出。实验结果表明,该方法所生成的壁画还原图像相较于AdaIN(Adaptive Instance Normalization)、AST(ArbitraryStyleTransfer)等对比方法所生成的壁画还原图像,NIQE(NaturalImageQuality Evaluator)和PIQE(Perception based Image Quality Evaluator)都取得了最优的结果。可见,所提方法能有效还原壁画色彩信息并保持待还原壁画图像的整体结构纹理特征。
-
关键词
编码器-解码器网络
壁画图像
色彩还原
全局特征
位置编码
-
Keywords
encoder-decoder network
mural image
color restoration
global feature
positional encoding
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
-
题名基于多阶段优化的壁画图像色彩还原
- 2
-
-
作者
徐志刚
陈士成
朱红蕾
-
机构
兰州理工大学计算机与通信学院
-
出处
《计算机工程与应用》
CSCD
北大核心
2024年第2期162-170,共9页
-
基金
国家自然科学基金(62161020)。
-
文摘
敦煌壁画是中国最有价值和不可再生的文化遗产之一。而壁画图像的色彩复原对敦煌壁画的数字化保护和展示具有重要意义。为了解决褪色壁画图像色彩还原过程中出现的边缘伪影和色彩混叠问题,提出一种基于多阶段优化的壁画图像色彩还原方法。该方法利用高斯核函数得到壁画图像的多尺度表示。同时,构建三个基于编码器-解码器的迁移子网来学习壁画图像多尺度表示的语义特征,在参考壁画和褪色壁画之间建立语义关联来恢复壁画颜色。采用由粗到细的优化策略,在各个阶段间构建跨尺度特征融合模块实现图像多尺度表示的特征融合,建立不同阶段间的特征依赖关系。通过多阶段逐步优化,实现壁画图像的色彩还原。通过对临摹壁画和真实壁画的实验表明,该方法能够较有效地消除噪声影响,在还原壁画色彩的同时能较好地保持褪变色壁画图像的边缘纹理信息。
-
关键词
壁画图像
色彩还原
多阶段方法
注意力机制
编码器-解码器网络
-
Keywords
mural image
color restoration
multi-stage approach
attention mechanism
encoder-decoder network
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
-
题名基于双参考优化的壁画图像色彩还原
- 3
-
-
作者
徐志刚
张聪
-
机构
兰州理工大学计算机与通信学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2024年第2期345-352,共8页
-
基金
国家自然科学基金(62161020)。
-
文摘
褪变色壁画图像的色彩还原研究可以促进壁画的保护和展示。壁画图像色彩还原旨在将退化壁画图像的色彩褪变区域还原为原有色彩。常规的基于单幅参考壁画图像的色彩还原方法难以选取与退化壁画图像相似的参考壁画图像,进而影响色彩还原质量。为此,提出一种基于双参考优化的壁画图像色彩还原方法。采用双参考策略,即使用2幅参考壁画图像对退化壁画图像进行色彩还原,利用图像优化模块抑制褪变色壁画图像中普遍存在的噪声、划痕等多重退化,通过编码器-解码器网络编码提取壁画图像多尺度特征,并构建特征融合模块优化壁画图像的多尺度特征。采用双参考指导模块计算参考壁画图像与退化壁画图像的语义对应置信度,以实现图像区域间的相似性匹配,并实现2幅参考壁画图像的风格融合。在此基础上,利用融合特征实现退化壁画图像的色彩还原。实验结果表明,该方法可以较准确地还原退化壁画图像色彩,同时能较好保持壁画图像原有的边缘结构信息,并且使用无参考图像质量评估指标对各个方法的还原壁画图像进行客观评估,与对比方法相比,该方法在客观评估指标上最多可降低12.2%。
-
关键词
褪变色图像
壁画图像
色彩还原
编码器-解码器网络
双参考优化方法
-
Keywords
faded image
mural image
color restoration
encoder-decoder network
dual reference optimization method
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名局部全局特征耦合与交叉尺度注意的医学图像融合
被引量：3
- 4
-
-
作者
张炯
王丽芳
蔺素珍
秦品乐
米嘉
刘阳
-
机构
中北大学大数据学院山西省生物医学成像与影像大数据重点实验室
-
出处
《计算机工程》
CAS
CSCD
北大核心
2023年第3期238-247,共10页
-
基金
山西省应用基础研究计划“纹理和边缘信息在癌症、脑肿瘤医学影像融合中的探索研究”(201901D111152)。
-
文摘
现有基于深度学习的多模态医学图像融合方法存在全局特征表示能力不足的问题。对此,提出一种基于局部全局特征耦合与交叉尺度注意的医学图像融合方法。该方法由编码器、融合规则和解码器三部分组成。编码器中采用并行的卷积神经网络(CNN)和Transformer双分支网络分别提取图像的局部特征与全局表示。在不同尺度下,通过特征耦合模块将CNN分支的局部特征嵌入Transformer分支的全局特征表示中,最大程度地结合互补特征,同时引入交叉尺度注意模块实现对多尺度特征表示的有效利用。编码器提取待融合原始图像的局部、全局以及多尺度特征表示,根据融合规则融合不同源图像的特征表示后再输入到解码器中生成融合图像。实验结果表明,与CBF、PAPCNN、IFCNN、DenseFuse和U2Fusion方法相比,该方法在特征互信息、空间频率、边缘信息传递因子、结构相似度、感知图像融合质量这5个评价指标上分别平均提高6.29%、3.58%、29.01%、5.34%、5.77%,融合图像保留了更清晰的纹理细节和更高的对比度,便于疾病的诊断与治疗。
-
关键词
医学图像融合
编码器-解码器网络
Transformer网络
特征耦合
交叉尺度注意
-
Keywords
medical image fusion
encoder-decoder network
Transformer network
feature coupling
cross-scale attention
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名融合BERT语境词向量的译文质量估计方法研究
被引量：10
- 5
-
-
作者
李培芸
李茂西
裘白莲
王明文
-
机构
江西师范大学计算机信息工程学院
-
出处
《中文信息学报》
CSCD
北大核心
2020年第3期56-63,共8页
-
基金
国家自然科学基金(61662031,61462044,61876074)。
-
文摘
蕴含语义、句法和上下文信息的语境词向量作为一种动态的预训练词向量,在自然语言处理的下游任务中有着广泛应用。然而,在机器译文质量估计中,没有相关研究工作涉及语境词向量。该文提出利用堆叠双向长短时记忆网络将BERT语境词向量引入神经译文质量估计中,并通过网络并联的方式与传统的译文质量向量相融合。在CWMT18译文质量估计评测任务数据集上的实验结果表明,融合中上层的BERT语境词向量均显著提高了译文质量估计与人工评价的相关性,并且当对BERT语境词向量的最后4层表示平均池化后引入译文质量估计中对系统性能的提高幅度最大。实验分析进一步揭示了融合语境词向量的方法能利用译文的流利度特征来提高翻译质量估计的效果。
-
关键词
神经译文质量估计
语境词向量
循环神经网络
编码器-解码器网络
质量向量
-
Keywords
neural quality estimation of machine translation
contextual word embedding
recurrent neural network
encoder-decoder network
quality vector
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于语义分割深度学习的地基云图分割方法
被引量：5
- 6
-
-
作者
王敏
李晟
庄志豪
王康
孙硕
吴佳
-
机构
南京信息工程大学电子与信息工程学院
-
出处
《科学技术与工程》
北大核心
2023年第31期13204-13216,共13页
-
基金
国家自然科学基金(41775165,41775039)
南京信息工程大学人才启动项目(2021r034)。
-
文摘
随着深度学习技术的迅速发展,更复杂更先进的语义分割深度学习模型在地基云图检测分割任务中得到广泛研究和应用。首先开创性地对新发布的地基云图数据集进行整理概括;然后阐述了基于深度学习语义分割模型在地基云图分割方面的研究进展,详细地介绍了典型的语义分割网络模型;接着选取了部分优秀性能的语义分割模型在标准的数据集上训练和验证,系统性评估其在地基云图分割的性能,验证了语义分割模型在地基云图分割领域的适用性;最后提出对基于语义分割的自适应地基云图像素级分割研究的总结和展望。
-
关键词
地基云图分割
深度学习
语义分割
云检测
编码器-解码器网络
-
Keywords
ground-based cloud image segmentation
deep learning
semantic segmentation
cloud detection
encoder-decoder network
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
