期刊文献+
共找到9篇文章
< 1 >
每页显示 20 50 100
基于自注意力机制的高分遥感影像语义分割 被引量:1
1
作者 杨军 张金影 康玥 《哈尔滨工程大学学报》 北大核心 2025年第2期344-354,共11页
针对遥感影像多尺度特征提取困难、上下文信息利用不足的问题,本文结合自注意力机制和深度可分离卷积提出一种线性多头自注意力网络模型,适用于高分辨率遥感影像语义分割。在自注意力模块之前引入深度可分离卷积,减少计算量的同时有助... 针对遥感影像多尺度特征提取困难、上下文信息利用不足的问题,本文结合自注意力机制和深度可分离卷积提出一种线性多头自注意力网络模型,适用于高分辨率遥感影像语义分割。在自注意力模块之前引入深度可分离卷积,减少计算量的同时有助于捕获局部特征;在编码器分支中提出线性的多头自注意力模块以降低模型的计算复杂度;设计一个解码器来恢复特征图分辨率,通过级联操作整合各层级的特征并生成高分辨率的语义分割结果。所提算法在ISPRS Vaihingen和Potsdam数据集上的分割结果的mF1分别达到了90.77%和92.36%,与目前主流算法相比,不透水表面、建筑、低矮植物、树木类的分割准确率及总体分割准确率均有提高。本文算法构建的线性多头自注意力网络是一种高效的高分辨率遥感影像语义分割模型。 展开更多
关键词 高分辨率遥感影像 多头自注意力 深度可分离卷积 语义分割 特征提取 卷积神经网络 编码器 解码器
在线阅读 下载PDF
基于高光谱和多头注意力机制的草鱼鲜味强度检测
2
作者 万仕文 冯耀泽 +4 位作者 舒国强 赵名泉 王益健 孔丽琴 朱明 《华中农业大学学报》 北大核心 2025年第5期280-287,共8页
针对现有鲜味强度检测方法主观性强、耗时长和样本破坏性等问题,使用深度学习和机器学习算法结合高光谱成像技术构建草鱼鲜味强度快速无损检测方法。采集草鱼高光谱数据后,使用竞争性自适应重加权抽样法选取光谱特征波长,开发高斯加权... 针对现有鲜味强度检测方法主观性强、耗时长和样本破坏性等问题,使用深度学习和机器学习算法结合高光谱成像技术构建草鱼鲜味强度快速无损检测方法。采集草鱼高光谱数据后,使用竞争性自适应重加权抽样法选取光谱特征波长,开发高斯加权多头注意力网络(gaussian-weighted multi-head attention network,GMANet)并应用支持向量机回归(support vector machine regression,SVR)、偏最小二乘回归(partial least squares regression,PLSR)、随机森林(random forest,RF)、1D-ResNet等传统算法建立和优化草鱼鲜味检测模型。结果显示,GMANet网络的预测均方根误差RMSEP和预测决定系数(R2 P)分别为0.0082和0.8844,优于传统算法中的最优建模方法SVR,其RMSEP和R2 P分别为0.0077和0.8188。 展开更多
关键词 草鱼 高光谱 鲜味强度 深度学习 高斯加权多头注意力网络 感官分析
在线阅读 下载PDF
基于融合注意力机制的盾构姿态组合预测模型研究 被引量:1
3
作者 刘哲 许超 熊栋栋 《隧道建设(中英文)》 北大核心 2025年第1期139-150,共12页
针对盾构姿态预测模型存在易过拟合、预测精度低的问题,提出一种基于融合注意力机制的盾构姿态组合预测模型。为强化有效特征的提取,抑制冗余特征信息的表达,引入基于选择性卷积核网络(selective kernel networks,SKNet)的特征注意力机... 针对盾构姿态预测模型存在易过拟合、预测精度低的问题,提出一种基于融合注意力机制的盾构姿态组合预测模型。为强化有效特征的提取,抑制冗余特征信息的表达,引入基于选择性卷积核网络(selective kernel networks,SKNet)的特征注意力机制提取网络,消除固定尺寸卷积核带来的限制,并自适应形成带有注意力的特征映射。为更好地捕捉长期信息和特征模式,通过双向长短期记忆网络(bidirectional long short-term memory,BiLSTM)、门控循环单元(gated recurrent unit, GRU)得到2组隐含输出结果,再利用多头注意力机制,捕获组合模型输出的隐含特征与模型输出的盾构姿态之间的依赖关系,进一步提高预测模型对重要隐含特征的信息抓捕能力;同时,为解决地质勘察钻孔数据连续性差、精确性不足,难以应用于机器学习模型训练的问题,将基于人工先验知识的二级特征引入模型特征输入,提升模型对地层信息的感知能力。最后,基于广州地铁12号线官洲站—大学城北站盾构实例,对模型不同参数结构下的性能进行研究,并进行对比试验验证模型性能,采用可解释性试验评估特征对预测结果的影响。试验结果表明,相比其他预测模型,所提出的预测模型优越性更好,预测精度更高,解决了长时间序列高特征维度数据在传统模型下易过拟合且预测精度较低的问题。 展开更多
关键词 盾构姿态预测 选择性卷积核网络 特征注意力 组合模型 多头注意力机制
在线阅读 下载PDF
融合CNN和ViT的乳腺超声图像肿瘤分割方法 被引量:1
4
作者 彭雨彤 梁凤梅 《智能系统学报》 CSCD 北大核心 2024年第3期556-564,共9页
针对乳腺超声图像肿瘤区域形状大小差异大导致分割困难,卷积神经网络(convolutional neural networks,CNN)建模长距离依赖性和空间相关性方面存在局限性,视觉Transformer(vision Transformer,ViT)要求数据量巨大等问题,提出一种融合CNN... 针对乳腺超声图像肿瘤区域形状大小差异大导致分割困难,卷积神经网络(convolutional neural networks,CNN)建模长距离依赖性和空间相关性方面存在局限性,视觉Transformer(vision Transformer,ViT)要求数据量巨大等问题,提出一种融合CNN和ViT的分割方法。使用改进的Swin Transformer模块和基于可形变卷积的CNN编码器模块分别提取全局特征和局部细节特征,设计使用交叉注意力机制融合这两种尺度的特征表示,训练过程采取二元交叉熵损失混合边界损失函数,有效提高分割精度。在两个公共数据集上的实验结果表明,与现有经典算法相比所提方法的分割结果有显著提升,dice系数提升3.8412%,验证所提方法的有效性和可行性。 展开更多
关键词 卷积神经网络 乳腺超声图像分割 Swin Transformer 交叉注意力机制 混合损失函数 可形变卷积 多头跳跃注意力 深度学习
在线阅读 下载PDF
面向图像分类的Vision Transformer研究综述 被引量:4
5
作者 智敏 陆静芳 《郑州大学学报(工学版)》 CAS 北大核心 2024年第4期19-29,共11页
作为一种基于Transformer架构的模型,ViT已经在图像分类任务中展现出了良好的效果。对ViT在图像分类任务上的应用进行系统性归纳总结。首先,简单介绍了ViT框架及其4个模块(patch模块、位置编码、多头注意力和前馈神经网络)的功能特性;其... 作为一种基于Transformer架构的模型,ViT已经在图像分类任务中展现出了良好的效果。对ViT在图像分类任务上的应用进行系统性归纳总结。首先,简单介绍了ViT框架及其4个模块(patch模块、位置编码、多头注意力和前馈神经网络)的功能特性;其次,以ViT中4个模块的改进措施为脉络综述其在图像分类任务中的应用;再次,由于不同的模型结构和改进措施对最终的分类性能产生显著影响,还对文中出现的各类ViT进行了横向对比,并详细列出模型的参数和分类精度及其优缺点;最后,指出ViT在图像分类任务中的优势和局限性,并提出未来可能的研究方向以打破其局限性,进一步扩展ViT在其他计算机视觉任务中的应用,同时,还可以探索将ViT扩展到视频理解等更广泛的计算机视觉领域。 展开更多
关键词 ViT模型 图像分类 多头注意力 前馈网络层 位置编码
在线阅读 下载PDF
基于图注意力和改进Transformer的节点分类方法 被引量:1
6
作者 李鑫 陆伟 +2 位作者 马召祎 朱攀 康彬 《电子学报》 EI CAS CSCD 北大核心 2024年第8期2799-2810,共12页
当前,图Transformer主要在传统Transformer框架中附加辅助模块达到对图数据进行建模的目的 .然而,此类方法并未改进Transformer原有体系结构,数据建模精度还有待进一步提高.基于此,本文提出一种基于图注意力和改进Transformer的节点分... 当前,图Transformer主要在传统Transformer框架中附加辅助模块达到对图数据进行建模的目的 .然而,此类方法并未改进Transformer原有体系结构,数据建模精度还有待进一步提高.基于此,本文提出一种基于图注意力和改进Transformer的节点分类方法 .该方法构建基于拓扑特征增强的节点嵌入进行图结构强化学习,并且设计基于二级掩码的多头注意力机制对节点特征进行聚合及更新,最后引入归一前置及跳跃连接改进Transformer层间结构,避免节点特征趋同引起的过平滑问题.实验结果表明,相较于6类基线模型,该方法在不同性能指标上均可获得最优评估结果,且能同时兼顾小规模和中规模数据集的节点分类任务,实现分类性能的全面提升. 展开更多
关键词 节点分类 图注意力网络 TRANSFORMER 二级掩码 层间残差 多头注意力
在线阅读 下载PDF
用于射频指纹识别的改进多尺度残差网络 被引量:1
7
作者 凌浩然 朱丰超 +1 位作者 姚敏立 赵建勋 《电讯技术》 北大核心 2024年第11期1758-1764,共7页
射频指纹识别可以区分高度相似的无线通信设备,已被广泛用于频谱管理和物理层安全通信。然而,很多网络模型在低信噪比环境下表现出性能下降的情况。为了提高低信噪比环境下的识别精度,设计了改进多尺度残差网络模型。该模型首先提取出... 射频指纹识别可以区分高度相似的无线通信设备,已被广泛用于频谱管理和物理层安全通信。然而,很多网络模型在低信噪比环境下表现出性能下降的情况。为了提高低信噪比环境下的识别精度,设计了改进多尺度残差网络模型。该模型首先提取出解调信号的同相(I)和正交(Q)特征作为神经网络的输入,然后改进基础残差块以增加网络的每一层感受野并在细粒度水平上学习更多的特征信息。最后,将多头自注意力机制引入残差块中,进一步增强特征提取能力。在公开数据集上的测试结果表明,该网络在信噪比为0~20 dB时的平均识别准确率为85.36%,表现出比1D-ResNet网络及其变体模型更好的性能,能够在低信噪比环境下更好地完成射频指纹识别。 展开更多
关键词 射频指纹识别 物理层安全 残差神经网络 多头自注意力机制
在线阅读 下载PDF
融合CNN-SAM与GAT的多标签文本分类模型 被引量:7
8
作者 杨春霞 马文文 +1 位作者 陈启岗 桂强 《计算机工程与应用》 CSCD 北大核心 2023年第5期106-114,共9页
现有基于神经网络的多标签文本分类研究方法存在两方面不足,一是不能全面提取文本信息特征,二是很少从图结构数据中挖掘全局标签之间的关联性。针对以上两个问题,提出融合卷积神经网络-自注意力机制(CNNSAM)与图注意力网络(GAT)的多标... 现有基于神经网络的多标签文本分类研究方法存在两方面不足,一是不能全面提取文本信息特征,二是很少从图结构数据中挖掘全局标签之间的关联性。针对以上两个问题,提出融合卷积神经网络-自注意力机制(CNNSAM)与图注意力网络(GAT)的多标签文本分类模型(CS-GAT)。该模型利用多层卷积神经网络与自注意力机制充分提取文本局部与全局信息并进行融合,得到更为全面的特征向量表示;同时将不同文本标签之间的关联性转变为具有全局信息的边加权图,利用多层图注意力机制自动学习不同标签之间的关联程度,将其与文本上下文语义信息进行交互,获取具有文本语义联系的全局标签信息表示;使用自适应融合策略进一步提取两者特征信息,提高模型的泛化能力。在AAPD、RCV1-V2与EUR-Lex三个公开英文数据集上的实验结果表明,该模型所达到的多标签分类效果明显优于其他主流基线模型。 展开更多
关键词 多标签文本分类 多层卷积神经网络 自注意力机制 多头图注意力机制
在线阅读 下载PDF
基于双通道模型的航空发动机剩余寿命预测 被引量:2
9
作者 车鲁阳 高军伟 付惠琛 《空军工程大学学报》 CSCD 北大核心 2023年第6期42-49,共8页
针对现阶段航空发动机单一剩余使用寿命预测模型数据挖掘深度不足导致预测精度低的问题,提出一种双通道模型的预测方法。首先,构建双通道网络结构:通道一使用时间卷积网络,通过残差结构和空洞卷积使得网络具有更大的感受野和计算速度;... 针对现阶段航空发动机单一剩余使用寿命预测模型数据挖掘深度不足导致预测精度低的问题,提出一种双通道模型的预测方法。首先,构建双通道网络结构:通道一使用时间卷积网络,通过残差结构和空洞卷积使得网络具有更大的感受野和计算速度;通道二使用卷积长短时间记忆网络,提取多维时空特征,捕捉数据长期依赖关系。其次,利用多头注意力机制为双通道网络特征重新赋予权重。最后,将双通道网络进行特征融合输出,实现对航空发动机剩余寿命预测。使用涡扇发动机退化数据集进行实验验证,并与其它文献中提到的卷积双向长短时间记忆网络模型、多特征注意力模型、多头注意力模型、卷积门控单元循环神经网络模型进行对比。结果表明,所提模型在3种评价指标上均取得更好的表现,为航空发动机剩余寿命预测提供了一种新思路。 展开更多
关键词 航空发动机 寿命预测 时间卷积网络 卷积长短时间记忆网络 多头注意力机制
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部