期刊文献+
共找到87篇文章
< 1 2 5 >
每页显示 20 50 100
融合卷积神经网络和注意力机制的负荷识别方法 被引量:1
1
作者 赵毅涛 李钊 +3 位作者 刘兴龙 骆钊 王钢 沈鑫 《电力工程技术》 北大核心 2025年第1期227-235,共9页
对居民住宅进行非侵入式负荷监测(non-intrusive load monitoring,NILM)是智能电网用户需求侧的重要研究内容,居民负荷的能耗分析和用电管理是实现节能减排、可持续发展的关键环节。针对传统算法识别性能差、难以适应当下复杂用电环境... 对居民住宅进行非侵入式负荷监测(non-intrusive load monitoring,NILM)是智能电网用户需求侧的重要研究内容,居民负荷的能耗分析和用电管理是实现节能减排、可持续发展的关键环节。针对传统算法识别性能差、难以适应当下复杂用电环境的问题,文中从增强分类算法特征提取性能的优化思路出发,提出融合卷积神经网络(convolutional neural network,CNN)和自注意力机制的NILM负荷识别方法。首先,采集8种不同家用电器的电力数据,建立U-I轨迹曲线数据库;其次,采用挤压-激励网络(squeeze-and-excitation network,SENet)注意力机制提升CNN的特征聚合能力,完成对不同电器U-I轨迹曲线的特征提取和负荷识别;最后,对私有数据集和PLAID数据集进行测试,算例结果表明,所提方法在不同运行场景下均具有较高的识别准确率和较好的泛化性能。 展开更多
关键词 非侵入式负荷监测(NILM) 负荷识别 卷积神经网络(CNN) 挤压-激励网络(SENet) 注意力机制 特征提取 U-I轨迹
在线阅读 下载PDF
基于双层注意力和深度自编码器的时间序列异常检测模型 被引量:1
2
作者 尹春勇 赵峰 《计算机工程与科学》 CSCD 北大核心 2024年第5期826-835,共10页
目前时间序列通常具有弱周期性以及高度复杂的相关性特征,传统的时间序列异常检测方法难以检测此类异常。针对这一问题,提出了一种新的无监督时间序列异常检测模型(DA-CBG-AE)。首先,使用新型滑动窗口方法,针对时间序列周期性设置滑动... 目前时间序列通常具有弱周期性以及高度复杂的相关性特征,传统的时间序列异常检测方法难以检测此类异常。针对这一问题,提出了一种新的无监督时间序列异常检测模型(DA-CBG-AE)。首先,使用新型滑动窗口方法,针对时间序列周期性设置滑动窗口大小;其次,采用卷积神经网络提取时间序列高维度空间特征;然后,提出具有堆叠式Dropout双向门循环单元网络作为自编码器的基本结构,从而捕捉时间序列的相关性特征;最后,引入双层注意力机制,进一步提取特征,选择更加关键的时间序列,从而提高异常检测准确率。为了验证该模型的有效性,将DA-CBG-AE与6种基准模型在8个数据集上进行比较。最终的实验结果表明,DA-CBG-AE获得了最优的F1值(0.863),并且其检测性能相比最新的基准模型Tad-GAN高出25.25%。 展开更多
关键词 异常检测 双层注意力机制 自编码器 卷积神经网络 双向门循环单元
在线阅读 下载PDF
基于特征融合与时间卷积自编码器的工业过程故障检测
3
作者 曾峰荣 孙焕琪 熊伟丽 《高校化学工程学报》 北大核心 2025年第4期677-691,共15页
针对工业过程数据的多尺度时序特征提取困难问题,提出一种基于特征融合与时间卷积自编码器的故障检测方法。首先,采用多层时间卷积网络结构,从不同尺度对输入时间序列进行特征提取,构建多尺度的时间卷积自编码器;其次,设计基于高效通道... 针对工业过程数据的多尺度时序特征提取困难问题,提出一种基于特征融合与时间卷积自编码器的故障检测方法。首先,采用多层时间卷积网络结构,从不同尺度对输入时间序列进行特征提取,构建多尺度的时间卷积自编码器;其次,设计基于高效通道注意力的特征融合模块,通过跳跃连接加入时间卷积自编码器中,该模块对不同尺度的时序特征进行跨通道连接,生成相应权重对特征进行加权融合,从而捕获更丰富的时序信息,增强模型对正常序列与异常序列重构误差的区分度;最后,通过重构误差建立统计量,采用核密度估计确定控制限从而实现故障检测。将所提检测方法应用于数值案例和田纳西-伊士曼过程,实验结果证明了该方法具有良好的故障检测性能,能为复杂工业过程故障检测提供一定参考。 展开更多
关键词 故障检测 时间卷积网络 自编码器 注意力机制 特征融合
在线阅读 下载PDF
基于优化卷积自编码器的机床进给轴健康状态监测
4
作者 吴楚杰 崔益铭 +3 位作者 马骋 王强 赵雷鸣 刘阔 《组合机床与自动化加工技术》 北大核心 2025年第5期1-6,共6页
在实际工程应用中,进给轴从健康到故障时间跨度长、运行工况复杂、故障数据获取成本高,导致故障数据与健康数据存在严重的不平衡。而传统数据驱动健康监测方法往往需要大量标签数据,且监测结果依赖于标签的数量和准确性。如何在有限数据... 在实际工程应用中,进给轴从健康到故障时间跨度长、运行工况复杂、故障数据获取成本高,导致故障数据与健康数据存在严重的不平衡。而传统数据驱动健康监测方法往往需要大量标签数据,且监测结果依赖于标签的数量和准确性。如何在有限数据下,进行健康监测是目前面临的一大挑战。针对这一问题提出了一种基于优化卷积自编码器的机床进给轴健康状态监测方法,首先采用小波包对进给轴振动信号与功率信号进行去噪重构,随后对降噪后的振动信号与功率信号进行时域、频域特征提取形成振动功率多源数据集,之后搭建一种基于卷积自编码器(CAE)与双向长短时记忆网络(BiLSTM)相结合的进给轴健康监测网络,同时在网络中融合残差网络(Res)和注意力模块(SENet)提高模型收敛能力与监测准确性。试验表明所提模型可以仅采用健康数据进行训练,实现进给轴健康状态监测,健康状态监测准确率可达97.7%,优于传统CAE模型。 展开更多
关键词 残差网络 注意力机制 双向长短期记忆网络 卷积自编码器 进给轴 健康状态监测
在线阅读 下载PDF
面向交通流预测的时空编码器-解码器模型
5
作者 张锦 皮煜 +3 位作者 孙程 魏叶华 余飞 姚卫 《国防科技大学学报》 北大核心 2025年第3期173-182,共10页
为了解决许多交通流预测研究方法不能全面地挖掘交通数据中的动态隐藏相关性的问题,研究了动态时空变化特征,提出了一个基于编码器-解码器的交通预测模型。在模型中,编码器和解码器都主要由多头时空注意力机制组成,在两者中间加入了连... 为了解决许多交通流预测研究方法不能全面地挖掘交通数据中的动态隐藏相关性的问题,研究了动态时空变化特征,提出了一个基于编码器-解码器的交通预测模型。在模型中,编码器和解码器都主要由多头时空注意力机制组成,在两者中间加入了连接注意力机制,以分析路网时空相关性。模型还使用时空嵌入编码与自适应图卷积结合构成的动态嵌入模块来分析节点的动态和静态信息。在两个真实数据集上的实验,证明了该时空模型在长短期流量预测的效果优于其他方法。因此,时空编码器-解码器模型能有效处理复杂的时空序列,提升交通流预测的准确性。 展开更多
关键词 交通流预测 卷积神经网络 注意力机制 编码器-码器
在线阅读 下载PDF
一种基于自编码器降维的神经卷积网络入侵检测模型
6
作者 孙敬 丁嘉伟 冯光辉 《电信科学》 北大核心 2025年第2期129-138,共10页
为了提升入侵检测的准确率,鉴于自编码器在学习特征方面的优势以及残差网络在构建深层模型方面的成熟应用,提出一种基于特征降维的改进残差网络入侵检测模型(improved residual network intrusion detection model based on feature dim... 为了提升入侵检测的准确率,鉴于自编码器在学习特征方面的优势以及残差网络在构建深层模型方面的成熟应用,提出一种基于特征降维的改进残差网络入侵检测模型(improved residual network intrusion detection model based on feature dimensionality reduction,IRFD),进而缓解传统机器学习入侵检测模型的低准确率问题。IRFD采用堆叠降噪稀疏自编码器策略对数据进行降维,从而提取有效特征。利用卷积注意力机制对残差网络进行改进,构建能提取关键特征的分类网络,并利用两个典型的入侵检测数据集验证IRFD的检测性能。实验结果表明,IRFD在数据集UNSW-NB15和CICIDS 2017上的准确率均达到99%以上,且F1-score分别为99.5%和99.7%。与基线模型相比,提出的IRFD在准确率、精确率和F1-score性能上均有较大提升。 展开更多
关键词 网络攻击 入侵检测模型 堆叠降噪稀疏自编码器 卷积注意力机制 残差网络
在线阅读 下载PDF
基于注意力机制编码器-解码器的手写数学公式识别模型 被引量:3
7
作者 陈路 陈道喜 +1 位作者 陆一鸣 陆卫忠 《计算机应用》 CSCD 北大核心 2023年第4期1297-1302,共6页
针对现有的手写数学公式识别(HMER)方法经过卷积神经网络(CNN)多次池化后,图像分辨率降低、特征信息丢失,从而引起解析错误的问题,提出基于注意力机制编码器-解码器的HMER模型。首先,采用稠密卷积网络(DenseNet)作为编码器,使用稠密连... 针对现有的手写数学公式识别(HMER)方法经过卷积神经网络(CNN)多次池化后,图像分辨率降低、特征信息丢失,从而引起解析错误的问题,提出基于注意力机制编码器-解码器的HMER模型。首先,采用稠密卷积网络(DenseNet)作为编码器,使用稠密连接加强特征提取,促进梯度传播,并缓解梯度消失;其次,采用门控循环单元(GRU)作为解码器,并引入注意力机制,将注意力分配到图像的不同区域,从而准确地实现符号识别和结构分析;最后,对手写数学公式图像进行编码,将编码结果解码为LaTeX序列。在在线手写数学公式识别竞赛(CROHME)数据集上的实验结果表明,所提模型的识别率提升到40.39%,而在3个级别的允许误差范围内,识别率分别提升到52.74%、58.82%和62.98%。相较于双向长短期记忆(BLSTM)网络模型,所提模型的识别率提高了3.17个百分点;而在3个级别的允许误差范围内,识别率分别提高了8.52、11.56和12.78个百分点。可见,所提模型能够准确地解析手写数学公式图像,生成LaTeX序列,提升识别率。 展开更多
关键词 手写数学公式识别 编码器-码器 稠密卷积网络 门控循环单元 注意力机制
在线阅读 下载PDF
SOSNet:一种非对称编码器-解码器结构的非小细胞肺癌CT图像分割模型 被引量:9
8
作者 谢娟英 张凯云 《电子学报》 EI CAS CSCD 北大核心 2024年第3期824-837,共14页
非小细胞肺癌严重损害人类健康,早期非小细胞肺癌CT(Computed Tomography)图像中的肿瘤结节体积小,不易发现,极易造成漏诊和误诊.为了精确分割非小细胞肺癌CT图像中的小体积肿瘤结节,本文提出SOSNet(Small Object Segmentation Networks... 非小细胞肺癌严重损害人类健康,早期非小细胞肺癌CT(Computed Tomography)图像中的肿瘤结节体积小,不易发现,极易造成漏诊和误诊.为了精确分割非小细胞肺癌CT图像中的小体积肿瘤结节,本文提出SOSNet(Small Object Segmentation Networks)自动分割模型,利用ResNet(Residual Network)基础层和空洞卷积构造非对称编码器-解码器结构作为分割主网络,利用轴向取反注意力模块ARA(Axial Reverse Attention)逐步擦除背景中对分割有影响的结构,再使用结构细化模块SR(Structure Refinement)对主网络输出的粗略特征图进行结构细化,从而实现非小细胞肺癌肿瘤结节分割.在非小细胞肺癌公开数据集的实验测试表明,本文提出的小目标自动分割模型SOSNet可以有效分割出非小细胞肺癌CT图像中的小体积肿瘤结节,其mDice(mean-Dice)、mIoU(mean Intersection over Union)、Sensitivity、F1、Specificity、平均绝对误差MAE(Mean Absolute Error)均优于当前最先进的小目标分割模型CaraNet(Context Axial Reverse Attention Network). 展开更多
关键词 小目标分割 非小细胞肺癌 非对称编码器-码器 结构细化 轴向取反注意力 CT图像 深度学习 卷积
在线阅读 下载PDF
基于变分自编码器的多源数据融合窃电检测方法 被引量:1
9
作者 蔡梓文 赵云 +3 位作者 陆煜锌 顾莲墙 陈康 高云鹏 《电力系统保护与控制》 北大核心 2025年第4期176-187,共12页
针对当前窃电检测仅使用单一用电负荷难以捕捉复杂窃电特征,导致窃电检测发生误判,存在误检率高和准确率低下等问题,提出一种融合用电负荷、环境温度、时间以及对应台区相位线损的新型窃电检测方法。首先构建多维度特征提取变分自编码器... 针对当前窃电检测仅使用单一用电负荷难以捕捉复杂窃电特征,导致窃电检测发生误判,存在误检率高和准确率低下等问题,提出一种融合用电负荷、环境温度、时间以及对应台区相位线损的新型窃电检测方法。首先构建多维度特征提取变分自编码器(variational autoencoder for multi-dimensional feature extraction,MF-VAE)来提取用户用电行为的多维度特征。然后,基于注意力时序卷积网络(attention temporal convolutional networks,ATCN)建立判别模型,再通过膨胀卷积和因果卷积获取多维度窃电行为特征的时序关系。同时,引入卷积注意力模块分配各维度特征的注意力权重,以提高模型的表现和泛化能力。最后采用Softmax分类器完成对多源数据中潜在窃电行为的准确识别。实验结果表明,用该方法提取的窃电行为特征更加丰富和多元化,能够有效降低窃电检测误检率并提高窃电行为判别准确率。 展开更多
关键词 窃电行为判别 多源数据融合 改进时域卷积网络 变分自编码器 注意力机制
在线阅读 下载PDF
基于注意力动态卷积自编码器的发酵过程故障监测 被引量:2
10
作者 高学金 姚玉卓 +1 位作者 韩华云 齐咏生 《化工学报》 EI CSCD 北大核心 2023年第6期2503-2521,共19页
发酵过程的状态监测对于及时发现各类异常故障起到了至关重要的作用。然而,由于发酵过程数据呈现非线性特性,导致在提取特征信息时存在困难,增加了故障监测的难度。为了解决上述问题,提出了一种基于注意力动态卷积自编码器(attention dy... 发酵过程的状态监测对于及时发现各类异常故障起到了至关重要的作用。然而,由于发酵过程数据呈现非线性特性,导致在提取特征信息时存在困难,增加了故障监测的难度。为了解决上述问题,提出了一种基于注意力动态卷积自编码器(attention dynamic convolutional autoencoder,ADCAE)的发酵过程故障监测方法。首先,设计了一种动态卷积结构(dynamic convolution structure),该结构可以在浅层使用大尺寸卷积核提取低级特征,在深层使用小尺寸卷积核提取高级特征,从而拓宽了模型特征学习的尺度;其次,设计了一种通道卷积注意力(channel convolutional attention,CCA)模块,该模块能够从不同尺度提取输入的非线性特征,并且在通道向量转化为权重的过程中可以更好地提取局部特征,提高了对有效信息的关注能力;最后,将动态卷积结构与CCA模块融入卷积自编码器中,使模型能够有效地捕获变量中的非线性关系,从而更好地应对发酵过程中的故障监测问题。利用青霉素发酵过程仿真平台和大肠埃希菌实际生产数据对该方法的可行性进行了验证,结果表明该方法具有较好的故障监测性能。 展开更多
关键词 发酵 算法 非线性 故障监测 神经网络 注意力机制 卷积自编码器
在线阅读 下载PDF
基于多尺度卷积自编码器的地震噪声智能压制方法及应用 被引量:2
11
作者 谢晨 徐天吉 +4 位作者 钱忠平 沈杰 刘胜 唐建明 文雪康 《石油物探》 CSCD 北大核心 2024年第1期79-90,共12页
针对传统地震噪声压制方法存在的泛化性不足、主观性强以及实际无噪声数据稀缺等问题,利用深度学习方法的泛化特性,在保护有效信号的基础上,建立了一种地震噪声智能压制方法。基于有效利用少量实际无噪声数据的原则,首先通过正演数值模... 针对传统地震噪声压制方法存在的泛化性不足、主观性强以及实际无噪声数据稀缺等问题,利用深度学习方法的泛化特性,在保护有效信号的基础上,建立了一种地震噪声智能压制方法。基于有效利用少量实际无噪声数据的原则,首先通过正演数值模拟地震数据构建数据集,再搭建基于InceptionV4卷积模块和注意力机制的卷积自编码器网络,并利用正演数据对网络预训练。该过程首先依靠数据驱动方法和网络强大的特征提取能力初步获取地震数据的有效特征表达,通过正演数值模拟数据试验分析发现,该方法既能有效压制绝大部分随机噪声和相干噪声,还能比DnCNN网络更大程度地避免损伤有效信号;然后,再采用迁移学习的策略和少量实际地震数据继续训练网络,最终获得实际地震数据噪声压制模型。将该方法应用于实际地震数据噪声压制试验,并从压制效果、保幅性等方面评价方法效果,结果表明该方法对于随机噪声、面波等噪声干扰具有一定的压制能力,准确地恢复了有效信号,且具有处理成本低、效率高等优势。 展开更多
关键词 地震勘探 噪声压制 卷积自编码器 迁移学习 注意力机制
在线阅读 下载PDF
采用注意力与模板在线更新的可见光-红外目标跟踪网络
12
作者 韩向东 钟傲 +3 位作者 刘冲澳 孙延鑫 张向永 徐淋智 《西安交通大学学报》 北大核心 2025年第8期187-198,共12页
针对当前可见光-红外目标跟踪算法对红外可见光双模态特征交互与目标动态变化建模不足的问题,结合卷积掩码自编码器模型,提出一种基于注意力与模板在线更新的可见光-红外双模态目标跟踪网络。以卷积掩码自编码器模型为骨干网络,通过采... 针对当前可见光-红外目标跟踪算法对红外可见光双模态特征交互与目标动态变化建模不足的问题,结合卷积掩码自编码器模型,提出一种基于注意力与模板在线更新的可见光-红外双模态目标跟踪网络。以卷积掩码自编码器模型为骨干网络,通过采用双嵌入层配合共享权重的骨干网络结构提取可见光与红外特征,深入挖掘可见光与红外数据间的内在联系。通过强化模板与搜索图像的关联性,引入通道空间自注意力机制以增强模板和搜索图像间的交互,来提取模态间可区分的异质互补特征。提出模板在线更新模块,通过在线更新模板与设计模板分数头,利用置信度评分机制融合初始模板的稳定性与在线模板的适应性,解决目标随时间变化导致的模型漂移问题。实验结果表明,所提算法在GTOT和RGBT234公开数据集上的精确率和成功率分别达到93.3%/75.6%和87.2%/63.8%,可在目标不断变化情况下实现精确跟踪。可视化分析表明,所提算法在双模态热力图上可自适应互补,单一模态失效时仍能精准定位目标。 展开更多
关键词 目标跟踪 可见光-红外 注意力机制 模板在线更新 卷积掩码自编码器
在线阅读 下载PDF
基于注意力机制和ACT网络的人脸图像修复
13
作者 滕林 张乾 徐开丽 《现代电子技术》 北大核心 2025年第13期43-49,共7页
为使人脸图像缺失的语义特征填补更真实,细节信息恢复更明显,文中提出一种基于卷积注意力模块(CBAM)和上下文信息聚合转换(ACT)网络的人脸图像修复方法。该方法保留基准模型的两个分支,在语义和图像滤波分支中引入CBAM层能够捕获填充图... 为使人脸图像缺失的语义特征填补更真实,细节信息恢复更明显,文中提出一种基于卷积注意力模块(CBAM)和上下文信息聚合转换(ACT)网络的人脸图像修复方法。该方法保留基准模型的两个分支,在语义和图像滤波分支中引入CBAM层能够捕获填充图像缺失区域的关键细节信息,基准残差块更换为ACT残差能够保留缺失区域外的丰富细节,捕获丰富的上下文信息,使得该分支对图像的语义信息填补更准确,能够有效去除伪影和丰富图像细节。在核预测分支中引入这两个模块能够增强提取图像特征时的感受野和上下文推理感知,使滤波核的动态预测更精确。该方法在CelebA-HQ数据集上进行验证,定量指标PSNR、SSIM、L_(1)均有改善,定性修复结果呈现更加清晰自然。研究证实该方法对人脸图像修复有较好的效果。 展开更多
关键词 图像修复 CBAM注意力机制 ACT网络 编码器-码器 人脸图像修复 图像滤波
在线阅读 下载PDF
基于分段注意力机制的时间序列预测模型
14
作者 王慧斌 胡展傲 +2 位作者 胡节 徐袁伟 文博 《计算机应用》 北大核心 2025年第7期2262-2268,共7页
针对时间序列分段后存在因采样间隔增大而导致的长期预测过程中局部依赖关系丢失的情况,提出一种基于分段注意力机制的时间序列预测模型(SAMformer)。首先,显式地将时间静态协变量与原始数据按比例融合,以增强数据的时域信息表征能力;其... 针对时间序列分段后存在因采样间隔增大而导致的长期预测过程中局部依赖关系丢失的情况,提出一种基于分段注意力机制的时间序列预测模型(SAMformer)。首先,显式地将时间静态协变量与原始数据按比例融合,以增强数据的时域信息表征能力;其次,同时引入两个连续的带偏置的线性层和一个激活函数来微调融合数据,从而提高模型对非线性数据的拟合能力;然后,在分段序列的每个段内引入点积注意力机制,以便捕获局部特征依赖关系;最后,利用跨尺度依赖的编码器-解码器架构预测时序数据。所提模型在公开的5个时间序列数据集上的实验结果表明,相较于Crossformer、 Pyraformer和Informer等其他监督学习时序预测模型,SAMformer的均方误差(MSE)和平均绝对误差(MAE)分别降低了2.0%~62.0%和0.9%~49.8%。此外,通过消融实验验证了所提不同组件的完备性和有效性,进一步说明了融合时域信息和段内注意力机制有助于提高时间序列预测的精度。 展开更多
关键词 深度神经网络 时间序列预测 时域信息融合 编码器-码器架构 注意力机制
在线阅读 下载PDF
基于卷积胶囊编码器和多尺度局部特征共现的图像分割网络 被引量:1
15
作者 秦辰栋 王永雄 张佳鹏 《计算机应用研究》 CSCD 北大核心 2024年第4期1264-1269,共6页
U-Net在图像分割领域取得了巨大成功,然而卷积和下采样操作导致部分位置信息丢失,全局和长距离的语义交互信息难以被学习,并且缺乏整合全局和局部信息的能力。为了提取丰富的局部细节和全局上下文信息,提出了一个基于卷积胶囊编码器和... U-Net在图像分割领域取得了巨大成功,然而卷积和下采样操作导致部分位置信息丢失,全局和长距离的语义交互信息难以被学习,并且缺乏整合全局和局部信息的能力。为了提取丰富的局部细节和全局上下文信息,提出了一个基于卷积胶囊编码器和局部共现的医学图像分割网络MLFCNet(network based on convolution capsule encoder and multi-scale local feature co-occurrence)。在U-Net基础上引入胶囊网络模块,学习目标位置信息、局部与全局的关系。同时利用提出的注意力机制保留网络池化层丢弃的信息,并且设计了新的多尺度特征融合方法,从而捕捉全局信息并抑制背景噪声。此外,提出了一种新的多尺度局部特征共现算法,局部特征之间的关系能够被更好地学习。在两个公共数据集上与九种方法进行了比较,相比于性能第二的模型,该方法的mIoU在肝脏医学图像中提升了4.7%,Dice系数提升了1.7%。在肝脏医学图像和人像数据集上的实验结果表明,在相同的实验条件下,提出的网络优于U-Net和其他主流的图像分割网络。 展开更多
关键词 U-Net 卷积胶囊编码器 注意力机制 多尺度特征局部共现
在线阅读 下载PDF
基于多尺度卷积编码器的说话人验证网络 被引量:1
16
作者 刘小湖 陈德富 +3 位作者 李俊 周旭文 胡姗 周浩 《计算机科学》 CSCD 北大核心 2024年第S01期75-80,共6页
说话人验证是一种有效的生物身份验证方法,说话人嵌入特征的质量在很大程度上影响着说话人验证系统的性能。最近,Transformer模型在自动语音识别领域展现出了巨大的潜力,但由于Transformer中传统的自注意力机制对局部特征的提取能力较弱... 说话人验证是一种有效的生物身份验证方法,说话人嵌入特征的质量在很大程度上影响着说话人验证系统的性能。最近,Transformer模型在自动语音识别领域展现出了巨大的潜力,但由于Transformer中传统的自注意力机制对局部特征的提取能力较弱,难以提取有效的说话人嵌入特征,因此Transformer模型在说话人验证领域的性能难以超越以往的基于卷积网络的模型。为了提高Transformer对局部特征的提取能力,文中提出了一种新的自注意力机制用于Transformer编码器,称为多尺度卷积自注意力编码器(Multi-scale Convolutional Self-Attention Encoder,MCAE)。利用不同尺度的卷积操作来提取多时间尺度信息,并通过融合时域和频域的特征,使模型获得更丰富的局部特征表示,这样的编码器设计对于说话人验证是更有效的。通过实验表明,在3个公开的测试集上,所提方法的综合性能表现更佳。与传统的Transformer编码器相比,MCAE也是更轻量级的,这更有利于模型的应用部署。 展开更多
关键词 说话人验证 说话人嵌入 注意力机制 Transformer编码器 多尺度卷积
在线阅读 下载PDF
基于双模编码器-解码器框架的联机手写数学公式识别 被引量:4
17
作者 付鹏斌 李树军 杨惠荣 《北京工业大学学报》 CAS CSCD 北大核心 2024年第1期50-60,共11页
为了充分利用联机手写数学公式的笔迹特征和全局二维结构特征,将联机模式和脱机模式联合,设计了一种基于编码器-解码器框架的双模识别模型。该模型可接受一维坐标点序列和二维静态图像形式的手写数学公式数据,通过联机编码器从输入的坐... 为了充分利用联机手写数学公式的笔迹特征和全局二维结构特征,将联机模式和脱机模式联合,设计了一种基于编码器-解码器框架的双模识别模型。该模型可接受一维坐标点序列和二维静态图像形式的手写数学公式数据,通过联机编码器从输入的坐标点序列中提取笔迹特征信息,并通过脱机编码器从静态图像中提取二维结构特征信息,进而充分保留手写笔迹特征和全局二维结构特征。在编码器阶段,针对联机模式提出正弦编码,对输入的坐标点序列进行编码,补充笔画级别的信息,能够有效避免笔画间隔模糊导致的笔画信息丢失的问题;针对脱机模式提出平滑注意力机制,通过引入平滑窗口的方式,实现特征图中每个像素特征的感受野的自适应调整,在一定程度上解决了普通的注意力机制无法同时对尺寸相差较大的手写符号筛选有效特征信息的问题,有效提升了注意力机制捕捉有效手写区域的能力。实验结果表明,该模型的公式识别准确率可达58.76%,并且与相同领域内其他的识别模型相比,其可将公式识别准确率提升1.56%~4.71%,达到较高水平。 展开更多
关键词 编码器-码器 联机 脱机 双模 数学公式识别 注意力机制
在线阅读 下载PDF
融合结构化卷积和双重注意力机制的轻量级眼底图像分割网络 被引量:3
18
作者 汪华登 刘金 +4 位作者 黎兵兵 潘细朋 刘振丙 蓝如师 罗笑南 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2024年第5期760-774,共15页
眼底血管图像的自动分割对于多种眼科疾病的计算机辅助诊断具有重要作用.针对血管的尺度差异和图像噪声导致眼底血管图像分割困难、使用单一尺度卷积运算的深度学习方法获取的特征感受野有限,以及现有的方法复杂度过高的问题,提出一个... 眼底血管图像的自动分割对于多种眼科疾病的计算机辅助诊断具有重要作用.针对血管的尺度差异和图像噪声导致眼底血管图像分割困难、使用单一尺度卷积运算的深度学习方法获取的特征感受野有限,以及现有的方法复杂度过高的问题,提出一个融合结构化卷积和双重注意力机制的轻量级眼底图像分割网络.通过编码器增强、减少下采样次数和特征深度的编码-解码网络设计,实现参数量只有0.63M的轻量化网络.在编码阶段,提出一种结构化卷积方法,有效地避免了网络训练过拟合,提高了网络捕获差异化血管特征的能力;在解码阶段,采用基于空间和通道的双重注意力机制,使网络更加关注血管特征的上下文和几何空间信息,抑制病变等噪声的干扰.在DRIVE,CHASE_DB1和STARE数据集上进行实验的结果表明,所提网络图像分割的准确率分别为96.92%,97.57%和97.51%,灵敏度分别为83.68%,84.99%和84.87%,受试者曲线下的面积(AUC)分别为98.67%,99.05%和99.02%;并通过在DRIVE和STARE数据集上的交叉训练,验证了该网络的泛化能力. 展开更多
关键词 眼底图像分割 编码-解码网络 轻量级网络 结构化卷积 双重注意力机制
在线阅读 下载PDF
基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法 被引量:30
19
作者 尹梓诺 马海龙 胡涛 《电子与信息学报》 EI CSCD 北大核心 2023年第10期3719-3728,共10页
针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSM... 针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。 展开更多
关键词 流量异常检测 类别不平衡 一维卷积神经网络-双向长短期记忆网络 注意力机制
在线阅读 下载PDF
结合改进卷积神经网络与自编码器的表情识别 被引量:7
20
作者 魏赟 李栋 《小型微型计算机系统》 CSCD 北大核心 2022年第2期387-392,共6页
为了克服单一神经网络模型提取表情特征困难,以及堆叠深层网络结构会造成训练过程复杂、参数冗余等问题,本文提出了一种引入注意力机制的轻量级CNN通道和卷积自编码器预训练通道的双通道模型.在轻量级CNN通道中以具有残差思想的深度可... 为了克服单一神经网络模型提取表情特征困难,以及堆叠深层网络结构会造成训练过程复杂、参数冗余等问题,本文提出了一种引入注意力机制的轻量级CNN通道和卷积自编码器预训练通道的双通道模型.在轻量级CNN通道中以具有残差思想的深度可分离卷积结构进行深层次特征提取并且减少了模型参数量,还引入了通道域注意力机制使得该通道能够学习到更有用的特征;同时使用卷积自编码器对输入人脸表情图像进行无监督预处理,使得模型提取的特征更加多样化.实验结果表明,在FER2013和CK+表情数据集上分别取得了72.70%和97.50%的识别率.通过与相关方法对比,表明了本文模型在保证较少参数量的同时也具有较高的识别率. 展开更多
关键词 表情识别 深度可分离卷积 卷积自编码器 注意力机制
在线阅读 下载PDF
上一页 1 2 5 下一页 到第
使用帮助 返回顶部