针对现有深度学习算法在壁画修复时,存在全局语义一致性约束不足及局部特征提取不充分,导致修复后的壁画易出现边界效应和细节模糊等问题,提出一种双向自回归Transformer与快速傅里叶卷积增强的壁画修复方法.首先,设计基于Transformer...针对现有深度学习算法在壁画修复时,存在全局语义一致性约束不足及局部特征提取不充分,导致修复后的壁画易出现边界效应和细节模糊等问题,提出一种双向自回归Transformer与快速傅里叶卷积增强的壁画修复方法.首先,设计基于Transformer结构的全局语义特征修复模块,利用双向自回归机制与掩码语言模型(masked language modeling,MLM),提出改进的多头注意力全局语义壁画修复模块,提高对全局语义特征的修复能力.然后,构建了由门控卷积和残差模块组成的全局语义增强模块,增强全局语义特征一致性约束.最后,设计局部细节修复模块,采用大核注意力机制(large kernel attention,LKA)与快速傅里叶卷积提高细节特征的捕获能力,同时减少局部细节信息的丢失,提升修复壁画局部和整体特征的一致性.通过对敦煌壁画数字化修复实验,结果表明,所提算法修复性能更优,客观评价指标均优于比较算法.展开更多
针对多变量时序(Multivariate Time Series,MTS)分类中长序列数据难以捕捉时序特征的问题,提出一种基于双向稀疏Transformer的时序分类模型BST(Bidirectional Sparse Transformer),提高了MTS分类任务的准确度.BST模型使用Transformer框...针对多变量时序(Multivariate Time Series,MTS)分类中长序列数据难以捕捉时序特征的问题,提出一种基于双向稀疏Transformer的时序分类模型BST(Bidirectional Sparse Transformer),提高了MTS分类任务的准确度.BST模型使用Transformer框架,构建了一种基于活跃度得分的双向稀疏注意力机制.基于KL散度构建活跃度评价函数,并将评价函数的非对称问题转变为对称权重问题.据此,对原有查询矩阵、键值矩阵进行双向稀疏化,从而降低原Transformer模型中自注意力机制运算的时间复杂度.实验结果显示,BST模型在9个长序列数据集上取得最高平均排名,在临界差异图中领先第2名35.7%,对于具有强时序性的乙醇浓度数据集(Ethanol Concentration,EC),分类准确率提高30.9%.展开更多
为提升高复杂海洋环境下声呐探测距离预测的准确性和效率,文章提出一种基于改进Transformer的传播损失与声呐探测距离建模方法,该方法能够兼容复杂海洋环境下不同点位、不同方向声信号传播损失差异,能够基于声呐方程及声呐主被动工作模...为提升高复杂海洋环境下声呐探测距离预测的准确性和效率,文章提出一种基于改进Transformer的传播损失与声呐探测距离建模方法,该方法能够兼容复杂海洋环境下不同点位、不同方向声信号传播损失差异,能够基于声呐方程及声呐主被动工作模式,快速、有效地预测多点位多方向的声呐探测距离。以真实大区域海洋环境计算得到的传播损失数据为输入,通过将双向长短时记忆网络(bidirectional long short-term memory,Bi-LSTM)与Transformer架构中自注意力机制相结合,使得模型能够有效捕捉复杂环境变化的局部精确性和全局特征。实验结果表明,所提模型预测结果与声呐方程耦合积分方式得到的探测距离具有较好的一致性;同时计算效率提高了约1 000倍,提升了声呐性能的预报效率。展开更多
文摘针对现有深度学习算法在壁画修复时,存在全局语义一致性约束不足及局部特征提取不充分,导致修复后的壁画易出现边界效应和细节模糊等问题,提出一种双向自回归Transformer与快速傅里叶卷积增强的壁画修复方法.首先,设计基于Transformer结构的全局语义特征修复模块,利用双向自回归机制与掩码语言模型(masked language modeling,MLM),提出改进的多头注意力全局语义壁画修复模块,提高对全局语义特征的修复能力.然后,构建了由门控卷积和残差模块组成的全局语义增强模块,增强全局语义特征一致性约束.最后,设计局部细节修复模块,采用大核注意力机制(large kernel attention,LKA)与快速傅里叶卷积提高细节特征的捕获能力,同时减少局部细节信息的丢失,提升修复壁画局部和整体特征的一致性.通过对敦煌壁画数字化修复实验,结果表明,所提算法修复性能更优,客观评价指标均优于比较算法.
文摘为提升高复杂海洋环境下声呐探测距离预测的准确性和效率,文章提出一种基于改进Transformer的传播损失与声呐探测距离建模方法,该方法能够兼容复杂海洋环境下不同点位、不同方向声信号传播损失差异,能够基于声呐方程及声呐主被动工作模式,快速、有效地预测多点位多方向的声呐探测距离。以真实大区域海洋环境计算得到的传播损失数据为输入,通过将双向长短时记忆网络(bidirectional long short-term memory,Bi-LSTM)与Transformer架构中自注意力机制相结合,使得模型能够有效捕捉复杂环境变化的局部精确性和全局特征。实验结果表明,所提模型预测结果与声呐方程耦合积分方式得到的探测距离具有较好的一致性;同时计算效率提高了约1 000倍,提升了声呐性能的预报效率。
