基于LSTM与注意力结构的肺结节多特征抽取方法 被引量：3

1

作者 倪扬帆 杨媛媛 +2 位作者 谢哲 郑德重 王卫东 《上海交通大学学报》 EI CAS CSCD 北大核心 2022年第8期1078-1088,共11页

对肺结节的形状特征、边缘特征和内部特征进行准确分类,能够辅助影像科医生的日常诊断工作,提高影像报告的书写效率.针对这一问题,提出一种基于长短时记忆(LSTM)结构与注意力结构的多任务分类模型.该模型通过注意力机制融合各个任务间... 对肺结节的形状特征、边缘特征和内部特征进行准确分类,能够辅助影像科医生的日常诊断工作,提高影像报告的书写效率.针对这一问题,提出一种基于长短时记忆(LSTM)结构与注意力结构的多任务分类模型.该模型通过注意力机制融合各个任务间的共享特征,提高当前任务的特征抽取效果.LSTM结构分类器能够有效地筛选任务间的共享特征,提高模型的信息传递效率.实验表明,相较于传统多任务结构,所提模型在公开数据集LIDC-IDRI上能够取得更好的多特征分类效果,辅助医生快捷地获取肺结节特征信息. 展开更多

关键词 肺结节 注意力结构 长短时记忆网络 多任务分类

在线阅读 下载PDF 职称材料

基于几何约束和结构注意力机制的图像超分辨率

2

作者 辜翱 方艳红 《计算机科学与探索》 北大核心 2025年第7期1868-1877,共10页

针对将超分辨率技术应用于古建筑物图像修复时,如何在更大尺度的重建时更多地保留原始图像的几何结构问题,提出一种基于几何约束与结构注意力增强的超分辨率图像重建方法。该方法在GeoSR模型的基础上设计了多尺度特征融合ghost卷积模块... 针对将超分辨率技术应用于古建筑物图像修复时,如何在更大尺度的重建时更多地保留原始图像的几何结构问题,提出一种基于几何约束与结构注意力增强的超分辨率图像重建方法。该方法在GeoSR模型的基础上设计了多尺度特征融合ghost卷积模块,在不显著增加模型参数的同时,提升模型性能;同时引入结构注意力增强模块,在上采样时自适应地调整不同通道和空间位置的权重,使模型能够更加关注图像中的结构信息,从而更有效地捕捉和恢复图像细节;利用最小化混合均方误差和几何对齐误差构成损失函数,在训练中有效地恢复了细节和几何规律。在Cityscape、DIV2K等数据集上进行了详尽的实验,实验结果表明利用多尺度的ghost卷积模块能够在减小模型参数同时增强模型的性能,同时结构注意力增强模块的应用使模型对几何结构的重建更加出色。改进后的模型只有原始GeoSR模型参数的80.9%,但超分辨率重建效果对比目前的模型效果更好,特别是在4倍和8倍的重建尺度下,该模型效果提升更明显。 展开更多

关键词 单图像的超分辨率 几何约束 多尺度特征 ghost卷积 结构注意力

在线阅读 下载PDF 职称材料

基于结构化自注意力网络的对话症状推断

3

作者 潘丁豪 杨志豪 +1 位作者 林鸿飞 王健 《计算机工程与应用》 CSCD 北大核心 2024年第4期331-337,共7页

症状推断是自动诊断医学对话系统的关键组成部分。近年来,随着网络问诊的兴起,医患对话文本的数量不断增加,原先基于电子健康记录的症状推断研究逐渐转移至医患对话文本。现存的大多数研究都忽略了对话特有的角色与症状实体结构先验知识... 症状推断是自动诊断医学对话系统的关键组成部分。近年来,随着网络问诊的兴起,医患对话文本的数量不断增加,原先基于电子健康记录的症状推断研究逐渐转移至医患对话文本。现存的大多数研究都忽略了对话特有的角色与症状实体结构先验知识,而这两种先验知识能够帮助模型更好地学习上下文的关联。提出了基于角色与实体结构先验知识的改良自注意力网络,并与预训练语言模型相结合。该模型将角色与实体结构先验知识融入文本的编码阶段中,能够更准确地进行症状实体的属性推断。使用CBLUE2.0榜单的CHIP-MDCFNPC数据集评估模型的性能。在CBLUE2.0榜单的CHIP-MDCFNPC数据集上的实验结果表明,该模型与基线模型对比取得了性能的提升,验证了先验知识与模型结构的有效性。 展开更多

关键词 医患对话 症状诊断 结构化自注意力网络

在线阅读 下载PDF 职称材料

面向语义片段结构化自注意力的目标情感分析 被引量：1

4

作者 邓航 陈渝 +1 位作者 赵容梅 琚生根 《小型微型计算机系统》 CSCD 北大核心 2022年第12期2499-2505,共7页

目标情感分析任务中大多数方法都使用循环神经网络或注意力机制对句子进行建模,但循环神经网络很难进行并行化计算,且不能充分捕捉长距离的语义信息;注意力机制注重于词与词之间的相关性,忽略了语义片段的重要性.针对以上问题,论文提出... 目标情感分析任务中大多数方法都使用循环神经网络或注意力机制对句子进行建模,但循环神经网络很难进行并行化计算,且不能充分捕捉长距离的语义信息;注意力机制注重于词与词之间的相关性,忽略了语义片段的重要性.针对以上问题,论文提出了一种面向语义片段结构化自注意力的目标情感分析方法.首先通过BERT获取目标词、上下文和整个句子的嵌入表示,再利用注意力编码网络进行语义建模.其次,通过多头注意力机制获得目标与上下文的融合语义特征,通过结构化自注意力机制获得句子片段的语义特征.最终,在融合各个语义特征的基础上对目标的情感极性分类.本方法在SemEval 2014 Task4和SemEval 2015 Task12通用数据集上的实验表明,该方法对比基线方法获得了提升. 展开更多

关键词 目标情感分析 注意力编码网络 结构化自注意力 BERT

在线阅读 下载PDF 职称材料

共享核空洞卷积与注意力引导FPN文本检测 被引量：4

5

作者 孟月波 金丹 +3 位作者 刘光辉 徐胜军 韩九强 石德旺 《光学精密工程》 EI CAS CSCD 北大核心 2021年第8期1955-1967,共13页

高分辨率图像具有特征尺度差异较大的特点,针对其造成的细粒度特征难以捕获、多尺度特征融合不佳问题,提出一种共享核空洞卷积与注意力引导(Kernel-Sharing Dilated Convolutions and Attention-guided FPN,KDA-FPN)的复杂场景文本检测... 高分辨率图像具有特征尺度差异较大的特点,针对其造成的细粒度特征难以捕获、多尺度特征融合不佳问题,提出一种共享核空洞卷积与注意力引导(Kernel-Sharing Dilated Convolutions and Attention-guided FPN,KDA-FPN)的复杂场景文本检测方法;提出最小交集(Intersection Over Minimum,IOM)后处理策略,改善因文本长宽比变化较大特性导致的掩膜重叠现象,提升检测效果。首先,模型以Resnet50为主干网络采用FPN结构捕获多尺度特征;然后,利用空洞卷积扩大特征感受野,提高特征信息的多尺度捕获能力,深层次挖掘文本细粒度特征,并通过共享核手段减少模型参数量,降低计算成本;同时,采用上下文注意模块(Context Attention Module,CxAM)捕捉多感受野间的语义信息关系,通过内容注意模块(Content Attention Module,CnAM)精确定位目标位置信息,增强多尺度融合能力,提升特征图质量;最后,将同一文本区域预测的候选框按大小排列,提出将面积最大的框与相邻文本框之间区域的交集面积占较小框面积的比值作为候选框筛选指标,抑制检测结果的掩模重叠现象,实现文本的精准检测。采用ICDAR2013、ICDAR2015、TotalText数据集进行对比实验,实验结果表明,本文模型对于水平场景文本检测的精度和召回率分别为95.3和90.4;对于倾斜文本检测的精度和召回率分别为87.1和84.2;对于任意形状文本检测的精度和召回率分别为69.6和57.3。提出的算法有效克服了图像分辨率、文本形状与长度等因素的影响,提高了检测精度,得到了更为精准的文本边界。 展开更多

关键词 文本检测 注意力结构 共享核空洞卷积 特征金字塔网络

在线阅读 下载PDF 职称材料

三重注意力特征聚合的跨模态行人再识别 被引量：4

6

作者 黄盼 朱松豪 梁志伟 《南京邮电大学学报（自然科学版）》 北大核心 2021年第5期101-112,共12页

红外线和可见光域之间的跨模态人员再识别对于夜间监控应用极为重要。一方面,除了由不同摄像机光谱引起的跨模态差异外,可见光红外人物再识别还受到不同摄像机视角和人物姿态引起的巨大跨模态和模态内变化的影响;另一方面,现有的可见光... 红外线和可见光域之间的跨模态人员再识别对于夜间监控应用极为重要。一方面,除了由不同摄像机光谱引起的跨模态差异外,可见光红外人物再识别还受到不同摄像机视角和人物姿态引起的巨大跨模态和模态内变化的影响;另一方面,现有的可见光⁃红外行人重识别方法倾向于学习全局表示,辨别力有限,对噪声图像的鲁棒性较弱。文中通过挖掘可见光⁃红外行人重识别的模态内层次和跨模态图级上下文线索,提出了一种新型的三注意力聚合学习方法。文中提出了一个模态内局部注意力加权的模块,通过对通道和局部关系挖掘施加领域知识来提取判别性的局部聚合特征。为了增强对噪声样本的鲁棒性,引入了改进的三元组损失并结合中心损失,考虑到离样本最近的不同类之间的距离,使得不同类之间可以保持一定的距离并提高特征的区分度。广泛的实验表明,三注意力聚合网络在各种环境下的表现都优于最先进的方法。 展开更多

关键词 行人重新识别 局部特征 图形结构化注意力

在线阅读 下载PDF 职称材料

基于时空网络的变电站机器人视觉避障研究

7

作者 程翀 王理厦 +2 位作者 段松涛 熊晓光 葛贤军 《系统仿真学报》 北大核心 2025年第6期1522-1530,共9页

为提升变电站机器人在复杂环境中的视觉避障能力,提出了一种基于时空网络的机器人视觉避障方法。利用传统图像处理技术增强道路信息,设计轻量级深层卷积神经网络结构,从空间域角度提取道路特征;基于道路空间特征引入长短期记忆网络,从... 为提升变电站机器人在复杂环境中的视觉避障能力,提出了一种基于时空网络的机器人视觉避障方法。利用传统图像处理技术增强道路信息,设计轻量级深层卷积神经网络结构,从空间域角度提取道路特征;基于道路空间特征引入长短期记忆网络,从时域的角度对道路变化规律进行挖掘,并利用分类回归预测结构分别对机器人避障方向和角度进行预测;针对变电站道路高重复性特点,引入特征过滤模块来降低冗余特征计算,保障网络应用时的实时性。实验结果表明:该方法可以有效提取变电站道路场景时空特征,能更准确地预测机器人下一步动作,更好地完成导航避障任务。 展开更多

关键词 变电站机器人 时空网络 注意力结构 分类回归预测 相似特征过滤

在线阅读 下载PDF 职称材料

多层特征融合与语义增强的盲图像质量评价 被引量：1

8

作者 赵文清 许丽娇 +1 位作者 陈昊阳 李梦伟 《智能系统学报》 CSCD 北大核心 2024年第1期132-141,共10页

针对现有盲图像质量评价算法在面对真实失真图像时性能较差的问题,本文提出多层特征融合和语义信息增强相结合的无参考图像质量评价算法。提取图像的局部和全局失真特征,利用特征融合模块对特征进行多层融合;利用多层扩张卷积增强语义信... 针对现有盲图像质量评价算法在面对真实失真图像时性能较差的问题,本文提出多层特征融合和语义信息增强相结合的无参考图像质量评价算法。提取图像的局部和全局失真特征,利用特征融合模块对特征进行多层融合;利用多层扩张卷积增强语义信息,进而指导失真图像到质量分数的映射过程;考虑预测分数和主观分数之间的相对排名关系,对L_(1)损失函数和三元组排名损失函数进行融合,构建新的损失函数L_(mix)。为了验证本文方法的有效性,在野生图像质量挑战数据集上进行了验证和对比实验,该算法的斯皮尔曼等级相关系数与皮尔逊线性相关系数指标相比原算法分别提升2.3%和2.3%;在康斯坦茨真实图像质量数据数据集和野生图像质量挑战数据集上进行了跨数据集实验,该算法在面对真实失真图像时表现出了良好的泛化性能。 展开更多

关键词 深度学习 图像质量 卷积神经网络 特征提取 通道注意力结构 多层次特征融合 扩张卷积 三元组损失函数

在线阅读 下载PDF 职称材料

改进YOLOv5s的遥感图像目标检测 被引量：30

9

作者 赵文清 康怿瑾 +1 位作者 赵振兵 翟永杰 《智能系统学报》 CSCD 北大核心 2023年第1期86-95,共10页

针对遥感图像中感兴趣目标特征不明显、背景信息复杂、小目标居多导致的目标检测精度较低的问题,本文提出了一种改进YOLOv5s的遥感图像目标检测算法(Swin-YOLOv5s)。首先,在骨干特征提取网络的卷积块中加入轻量级通道注意力结构,抑制无... 针对遥感图像中感兴趣目标特征不明显、背景信息复杂、小目标居多导致的目标检测精度较低的问题,本文提出了一种改进YOLOv5s的遥感图像目标检测算法(Swin-YOLOv5s)。首先,在骨干特征提取网络的卷积块中加入轻量级通道注意力结构,抑制无关信息的干扰;其次,在多尺度特征融合的基础上进行跨尺度连接和上下文信息加权操作来加强待检测目标的特征提取,将融合后的特征图组成新的特征金字塔;最后,在特征融合的过程中引入Swin Transformer网络结构和坐标注意力机制,进一步增强小目标的语义信息和全局感知能力。将本文提出的算法在DOTA数据集和RSOD数据集上进行消融实验,结果表明,本文提出的算法能够明显提高遥感图像目标检测的平均准确率。 展开更多

关键词 遥感图像 感兴趣目标 目标检测 特征提取 轻量级通道注意力结构 多尺度特征融合 上下文信息 Swin变换器 坐标注意力机制

在线阅读 下载PDF 职称材料

基于改进LinkNet的寒旱区遥感图像河流识别方法 被引量：6

10

作者 沈瑜 王海龙 +3 位作者 苑玉彬 梁丽 张泓国 王霖 《农业机械学报》 EI CAS CSCD 北大核心 2022年第7期217-225,共9页

为解决遥感图像河流精细化提取问题,提出一种改进LinkNet模型的分割网络(AFRLinkNet)。AFRLinkNet在LinkNet基础上引入了残差通道注意力结构、非对称卷积模块以及密集跳跃连接结构,并用视觉激活函数FReLU替换ReLU激活函数。残差通道注... 为解决遥感图像河流精细化提取问题,提出一种改进LinkNet模型的分割网络(AFRLinkNet)。AFRLinkNet在LinkNet基础上引入了残差通道注意力结构、非对称卷积模块以及密集跳跃连接结构,并用视觉激活函数FReLU替换ReLU激活函数。残差通道注意力结构可以强化对分割任务有效的特征,以提高模型的分类能力,得到更多的细节信息。利用非对称卷积模块进行模型压缩和加速。使用FReLU激活函数提升网络提取遥感图像河流的精细空间布局。在寒旱区河流数据集上的实验结果表明,AFRLinkNet网络相较于FCN、UNet、ResNet50、LinkNet、DeepLabv3+网络交并比分别提高了26.4、22.7、17.6、12.0、9.7个百分点,像素准确率分别提高了25.9、22.5、13.2、10.5、7.3个百分点;引入非对称卷积模块后,交并比提高了5.1个百分点,像素准确率提高了2.9个百分点,在此基础上引入残差通道注意力结构之后,交并比又提高了2.2个百分点,像素准确率提高了2.3个百分点,证明了其对河流细节识别效果更好。 展开更多

关键词 遥感图像 河流识别 残差通道注意力结构 非对称卷积 LinkNet

在线阅读 下载PDF 职称材料

鬼影卷积自适应视网膜血管分割算法 被引量：6

11

作者 梁礼明 周珑颂 +2 位作者 陈鑫 余洁 冯新刚 《光电工程》 CAS CSCD 北大核心 2021年第10期49-63,共15页

针对视网膜血管分割存在主血管轮廓模糊、微细血管断裂和视盘边界误分割等问题,提出一种鬼影卷积自适应视网膜血管分割算法。算法一是用鬼影卷积替代神经网络中普通卷积,鬼影卷积生成丰富的血管特征图,使目标特征提取充分进行。二是将... 针对视网膜血管分割存在主血管轮廓模糊、微细血管断裂和视盘边界误分割等问题,提出一种鬼影卷积自适应视网膜血管分割算法。算法一是用鬼影卷积替代神经网络中普通卷积,鬼影卷积生成丰富的血管特征图,使目标特征提取充分进行。二是将生成的特征图进行自适应融合并输入至解码层分类,自适应融合能够多尺度捕获图像信息和高质量保存细节。三是在精确定位血管像素与解决图像纹理损失过程中,构建双路径注意力引导结构将网络底层特征图与高层特征图有效结合,提高血管分割准确率。同时引入Cross-Dice Loss函数来抑制正负样本不均问题,减少因血管像素占比少而引起的分割误差,在DRIVE与STARE数据集上进行实验,其准确率分别为96.56%和97.32%,敏感度分别为84.52%和83.12%,特异性分别为98.25%和98.96%,具有较好的分割效果。 展开更多

关键词 视网膜血管 鬼影卷积 自适应融合模块 双路径注意力引导结构

在线阅读 下载PDF 职称材料

基于依存句法的图像描述文本生成 被引量：3

12

作者 毕健旗 刘茂福 +1 位作者 胡慧君 代建华 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2021年第3期431-440,共10页

现有图像描述文本生成模型能够应用词性序列和句法树使生成的文本更符合语法规则,但文本多为简单句,在语言模型促进深度学习模型的可解释性方面研究甚少。将依存句法信息融合到深度学习模型以监督图像描述文本生成的同时,可使深度学习... 现有图像描述文本生成模型能够应用词性序列和句法树使生成的文本更符合语法规则,但文本多为简单句,在语言模型促进深度学习模型的可解释性方面研究甚少。将依存句法信息融合到深度学习模型以监督图像描述文本生成的同时,可使深度学习模型更具可解释性。图像结构注意力机制基于依存句法和图像视觉信息,用于计算图像区域间关系并得到图像区域关系特征;融合图像区域关系特征和图像区域特征,与文本词向量通过长短期记忆网络(LSTM),用于生成图像描述文本。在测试阶段,通过测试图像与训练图像集的内容关键词,计算2幅图像的内容重合度,间接提取与测试图像对应的依存句法模板;模型基于依存句法模板,生成多样的图像描述文本。实验结果验证了模型在改善图像描述文本多样性和句法复杂度方面的能力,表明模型中的依存句法信息增强了深度学习模型的可解释性。 展开更多

关键词 图像描述文本生成 依存句法 图像结构注意力 内容重合度 深度模型可解释性

在线阅读 下载PDF 职称材料