针对传统图像超分辨重建技术中存在的特征丢失和缺乏高频细节的问题,在生成对抗网络的基础上结合注意力机制对网络进行改进.生成网络中通过多尺度残差注意力模块,学习不同尺度的图像特征,增强对图像高频细节的学习;再通过整体注意力模块...针对传统图像超分辨重建技术中存在的特征丢失和缺乏高频细节的问题,在生成对抗网络的基础上结合注意力机制对网络进行改进.生成网络中通过多尺度残差注意力模块,学习不同尺度的图像特征,增强对图像高频细节的学习;再通过整体注意力模块,进一步捕获更多的信息特征,提高网络对图像细节的还原能力,用于最终重建.判别网络中使用非对称卷积替代传统卷积,减少参数计算量;并引入自注意力机制更精确地获取图像全局信息,提高网络重建性能.实验结果表明,重建后图像和原始图像相比具有更多的高频纹理细节,与7种常见的图像超分辨方法相比,PSNR(Picture Signal to Noise Ratio)平均提升约2.43 dB,SSIM(Structural Similarity Image Measurement)平均提升约0.1.展开更多
随着个人语音数据在网络上的传播以及自动说话人识别算法的发展,个人的声纹特征面对着泄露的风险。音频对抗样本可以在人耳主观听觉不变的前提下,使得自动说话人识别算法失效,从而保护个人的声纹特征。本文在典型的音频对抗样本生成算法...随着个人语音数据在网络上的传播以及自动说话人识别算法的发展,个人的声纹特征面对着泄露的风险。音频对抗样本可以在人耳主观听觉不变的前提下,使得自动说话人识别算法失效,从而保护个人的声纹特征。本文在典型的音频对抗样本生成算法FoolHD模型的基础上引入了自注意力机制来改进对抗样本生成,该方法称为FoolHD-MHSA。首先,使用卷积神经网络作为编码器来提取输入音频频谱的对抗扰动谱图;然后利用自注意力机制从全局角度提取扰动谱不同部分特征的关联特征,同时将网络聚焦到扰动谱中的关键信息、抑制无用信息;最后,使用解码器将处理后的扰动谱隐写到输入频谱中得到对抗样本频谱。实验结果表明,FoolHD-MHSA方法生成的对抗样本相比FoolHD方法有着更高的攻击成功率和平均客观语音质量评估(Perceptual evaluation of speech quality,PESQ)得分。展开更多
文摘针对传统图像超分辨重建技术中存在的特征丢失和缺乏高频细节的问题,在生成对抗网络的基础上结合注意力机制对网络进行改进.生成网络中通过多尺度残差注意力模块,学习不同尺度的图像特征,增强对图像高频细节的学习;再通过整体注意力模块,进一步捕获更多的信息特征,提高网络对图像细节的还原能力,用于最终重建.判别网络中使用非对称卷积替代传统卷积,减少参数计算量;并引入自注意力机制更精确地获取图像全局信息,提高网络重建性能.实验结果表明,重建后图像和原始图像相比具有更多的高频纹理细节,与7种常见的图像超分辨方法相比,PSNR(Picture Signal to Noise Ratio)平均提升约2.43 dB,SSIM(Structural Similarity Image Measurement)平均提升约0.1.
文摘随着个人语音数据在网络上的传播以及自动说话人识别算法的发展,个人的声纹特征面对着泄露的风险。音频对抗样本可以在人耳主观听觉不变的前提下,使得自动说话人识别算法失效,从而保护个人的声纹特征。本文在典型的音频对抗样本生成算法FoolHD模型的基础上引入了自注意力机制来改进对抗样本生成,该方法称为FoolHD-MHSA。首先,使用卷积神经网络作为编码器来提取输入音频频谱的对抗扰动谱图;然后利用自注意力机制从全局角度提取扰动谱不同部分特征的关联特征,同时将网络聚焦到扰动谱中的关键信息、抑制无用信息;最后,使用解码器将处理后的扰动谱隐写到输入频谱中得到对抗样本频谱。实验结果表明,FoolHD-MHSA方法生成的对抗样本相比FoolHD方法有着更高的攻击成功率和平均客观语音质量评估(Perceptual evaluation of speech quality,PESQ)得分。
