基于联合学习和多级小波特征金字塔的MRI-TRUS图像配准方法

1

作者 蒋宏贵 胡冀苏 +3 位作者 钱旭升 郑毅 周志勇 戴亚康 《计算机工程》 北大核心 2025年第10期270-283,共14页

磁共振图像(MRI)和经直肠超声(TRUS)图像的配准是将术前MRI配准在超声图像上,结合两种模态图像的优势,快速定位病灶区域,在辅助诊断、穿刺、术中导航等医学手术中起重要作用。由于这两种图像模式之间固有的表征差异,具有显著的强度失真... 磁共振图像(MRI)和经直肠超声(TRUS)图像的配准是将术前MRI配准在超声图像上,结合两种模态图像的优势,快速定位病灶区域,在辅助诊断、穿刺、术中导航等医学手术中起重要作用。由于这两种图像模式之间固有的表征差异,具有显著的强度失真和变形,因此在这两种图像模式之间寻找精确的密集对应关系面临较大挑战。为此,提出一种基于联合学习和多级小波特征金字塔(MWFP)的弱监督可变形配准网络框架,对MRI和TRUS图像进行对齐。联合学习是基于预训练的半监督分割网络和配准网络组成的框架,在联合学习框架中分割网络和配准网络继续交替训练,分割网络为配准网络提供前列腺标签约束全局配准,有效解决了配准网络中标签不足的问题。MWFP是采用多分辨小波构成的配准网络,小波金字塔生成的多尺度图像过滤了噪声并减小了两种模式图像之间的表征差异,提高配准网络学习多尺度特征的能力,并在配准网络中设计多尺度特征融合注意力(MSFFA)模块,对特征进行更进一步筛选,为配准提供局部密集对应关系。此外,配准网络提供的形变分割图像和分割标签混合原有的人工标注标签和图像及其分割网络生成的伪标签和其图像放入分割网络继续训练,进一步提高多模态图像分割的性能。在642例公开前列腺MRI和TRUS图像活检数据集上的实验结果表明,所提的配准方法达到最优的Dice相似系数(DSC)值、95%Hausdorff距离(HD95)、互信息(MI)值和结构相似性(SSIM)值,分别是81.05%±1.77%、12.83±1.49 mm、18.12%±4.63%和27.12%±4.63%,优于对比的传统配准方法和先进的深度学习配准方法。此外,所提方法的平均配准时间为0.18±0.02 s,比传统的方法提升了近400倍。所提的配准方法能够准确实时地估计前列腺MRI和TRUS图像之间的形变场,具有更高的配准精度和更快的配准速度。 展开更多

关键词 联合学习 多级小波特征金字塔 可变形配准 多尺度特征融合注意力模块 半监督分割

在线阅读 下载PDF 职称材料

DACSNet:基于双注意力机制与分类监督的乳腺超声图像病变检测

2

作者 李方 王洁 《计算机科学》 北大核心 2025年第9期54-61,共8页

超声成像是乳腺病变最常用的检测技术,基于深度学习的乳腺超声图像自动化病变检测引起了越来越多的研究人员关注。然而,大部分研究未能充分融合图像信息来增强特征,也未考虑到注意力模块的引入带来的模型复杂度增大和假阳率升高的问题... 超声成像是乳腺病变最常用的检测技术,基于深度学习的乳腺超声图像自动化病变检测引起了越来越多的研究人员关注。然而,大部分研究未能充分融合图像信息来增强特征,也未考虑到注意力模块的引入带来的模型复杂度增大和假阳率升高的问题。因此,对现有的RetinaNet模型进行改进,以VMamba为骨干网络,提出了基于双注意力机制与分类监督的病变检测网络(DACSNet)以提高乳腺超声图像中病变检测的准确性,并降低检测假阳率。具体来说,将医学领域的知识引入注意力模块,通过双注意力模块(DAM)来增强通道维度和空间维度的特征。DAM仅涉及少量参数,且能有效提高模型的检测性能。此外,为了降低病变检测的假阳率,在模型中加入了分类监督模块(CSM)来融合病变分类信息,实现对疑似病变区域的二次关注。为了验证DACSNet的性能,在3组公开的乳腺超声图像数据集上进行了乳腺病变检测实验,结果证明了该方法的有效性。 展开更多

关键词 乳腺超声图像 病变检测 VMamba 双注意力模块 分类监督

在线阅读 下载PDF 职称材料

面向城市复杂场景的多尺度监督融合变化检测

3

作者 潘建平 谢鹏 +2 位作者 郭志豪 林娜 张慧娟 《遥感信息》 CSCD 北大核心 2024年第4期23-32,共10页

城市复杂场景中,地物形状多样,光照和成像角度变化大会导致变化检测结果受到干扰。为解决这些问题,文章提出了一种双上下文多尺度监督融合的网络模型(dual context multi-scale supervised fusion network model,DCMSFNet)。首先,在编... 城市复杂场景中,地物形状多样,光照和成像角度变化大会导致变化检测结果受到干扰。为解决这些问题,文章提出了一种双上下文多尺度监督融合的网络模型(dual context multi-scale supervised fusion network model,DCMSFNet)。首先,在编码部分使用双上下文增强模块获得地物丰富的全局上下文信息。在解码部分,采用级联的方法组合特征,然后通过自适应注意力模块捕捉不同尺度的变化关系,设计多尺度监督融合模块,增强深度网络融合,获得具有更高辨别能力的变化区域特征,将不同层级的输出结果与主网络的重构变化图融合形成最终的变化检测结果。该模型在LEVIR-CD和SYSU-CD变化检测数据集取得了较好的结果,F1-score分别提高了1.58%和2.17%,可更加精确识别复杂场景的变化区域,进一步减少无关因素引起的误检和漏检,且对目标地物边缘的检测更加平滑。 展开更多

关键词 深度学习 变化检测 双上下文增强 自适应注意力模块 多尺度监督融合

在线阅读 下载PDF 职称材料

基于改进SAGGAN模型的齿轮故障分类方法研究

4

作者 刘洋 但斌斌 +2 位作者 易灿灿 严旭果 薛家成 《机电工程》 CAS 北大核心 2024年第12期2185-2194,共10页

针对齿轮故障样本获取困难,导致深度学习驱动故障分类模型的可靠性和准确性不足这一问题,提出了一种基于改进自注意力门单元生成对抗网络(SAGGAN)的半监督齿轮故障分类模型。首先,为增强改进SAGGAN模型的特征表示能力,提升齿轮故障的半... 针对齿轮故障样本获取困难,导致深度学习驱动故障分类模型的可靠性和准确性不足这一问题,提出了一种基于改进自注意力门单元生成对抗网络(SAGGAN)的半监督齿轮故障分类模型。首先,为增强改进SAGGAN模型的特征表示能力,提升齿轮故障的半监督分类效果,在自注意力生成对抗网络(SAGAN)的基础上,引入了门控通道转换模块(GCT)、改进自注意力门控模块(SAG)和预训练的Inception V3分支;然后,使用齿轮故障实验装置采集齿轮断齿、磨损、周节误差和正常四种状态下的振动信号,并将数据划分为训练集、验证集与测试集;最后,将计算结果与现有的半监督分类方法:TripleGAN、Bad-GAN、Reg-GAN、SF-GAN进行了对比,并对改进模块进行了消融实验研究。研究结果表明:在标签样本为40、60、80、100时,改进SAGGAN模型的整体分类准确率分别为89%、90%、92%、94.25%,远高于其他四种方法,特别在只有少量标签样本情况下的优越性更为明显。以上结果揭示了改进的SAGGAN模型在齿轮故障分类领域中的实用性和优越性。 展开更多

关键词 齿轮故障 模式分类 自注意力门单元生成对抗网络 半监督学习 自注意力生成对抗网络 门控通道转换模块 自注意力门控模块

在线阅读 下载PDF 职称材料

融合监督注意力模块和跨阶段特征融合的图像修复改进网络 被引量：2

5

作者 黄巧玲 郑伯川 +1 位作者 丁梓成 吴泽东 《计算机应用》 CSCD 北大核心 2024年第2期572-579,共8页

非规则缺失区域的图像修复技术用途广泛但具有挑战性。针对现有修复方法对高分辨率图像可能会产生伪影、扭曲结构和模糊纹理的问题,提出一种融合监督注意力模块(SAM)和跨阶段特征融合(CSFF)的图像修复改进网络(Gconv_CS)。在Gconv的两... 非规则缺失区域的图像修复技术用途广泛但具有挑战性。针对现有修复方法对高分辨率图像可能会产生伪影、扭曲结构和模糊纹理的问题,提出一种融合监督注意力模块(SAM)和跨阶段特征融合(CSFF)的图像修复改进网络(Gconv_CS)。在Gconv的两阶段网络模型上,引入了SAM与CSFF模块。SAM通过提供真实图像监督信号,监督上阶段输出特征,确保传入下阶段特征信息的有效性。CSFF将上阶段编码器-解码器的特征融合后送入下阶段的编码器,以弥补上阶段修复中特征信息的损失。实验结果表明,在缺失区域占比为1%~10%时,相较于基线模型Gconv,Gconv_CS在CelebA-HQ数据集上峰值信噪比(PSNR)和结构相似性指数(SSIM)分别提高了1.5%和0.5%,Fréchet起始距离(FID)和L1损失分别降低了21.8%、14.8%;在Place2数据集上,前2个指标分别提高了26.7%和0.8%,后2个指标分别降低了7.9%、37.9%。将Gconv_CS用于去除大熊猫面部遮挡物时,取得了较好的修复视觉效果。 展开更多

关键词 图像修复 两阶段网络 跨阶段特征融合 监督注意力模块 门控卷积

在线阅读 下载PDF 职称材料

引入注意力机制的自监督光流计算 被引量：3

6

作者 安峰 戴军 +1 位作者 韩振 严仲兴 《图学学报》 CSCD 北大核心 2022年第5期841-848,共8页

光流计算是诸多计算机视觉系统的关键模块,广泛应用于动作识别、机器人定位与导航等领域。但目前端到端的光流计算仍受限于数据源的缺少,尤其是真实场景下的光流数据难以获取。人工合成的光流数据占绝大多数,且合成数据不能完全反应真... 光流计算是诸多计算机视觉系统的关键模块,广泛应用于动作识别、机器人定位与导航等领域。但目前端到端的光流计算仍受限于数据源的缺少,尤其是真实场景下的光流数据难以获取。人工合成的光流数据占绝大多数,且合成数据不能完全反应真实场景(如树叶晃动、行人倒影等),难以避免过拟合等情况。无监督或自监督方法可以利用海量的视频数据进行训练,摆脱了对数据集的依赖,是解决数据集缺少的有效途径。基于此搭建了一个自监督学习光流计算网络,其中的“Teacher”模块和“Student”模块集成了最新光流计算网络:稀疏相关体网络(SCV),减少了计算冗余量;同时引入注意力模型作为网络的一个节点,以提高图像特征在通道和空间上的维度属性。将SCV与注意力机制集成在自监督学习光流计算网络之中,在KITTI 2015数据集上的测试结果达到或超过了常见的有监督训练网络。 展开更多

关键词 光流计算 自监督学习 卷积注意力模块 空间/通道注意力 稀疏相关体

在线阅读 下载PDF 职称材料

基于3D scSE-UNet的肝脏CT图像半监督学习分割方法 被引量：5

7

作者 刘清清 周志勇 +4 位作者 范国华 钱旭升 胡冀苏 陈光强 戴亚康 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2021年第11期2033-2044,共12页

针对分割神经网络需要大量的高质量标签但较难获取的问题,提出基于3D scSE-UNet的半监督学习分割方法.该方法使用自训练的半监督学习框架,将包含改进的并行空间/特征通道压缩和激励模块(scSE-block+)的3D scSE-UNet作为分割网络.scSE-bl... 针对分割神经网络需要大量的高质量标签但较难获取的问题,提出基于3D scSE-UNet的半监督学习分割方法.该方法使用自训练的半监督学习框架,将包含改进的并行空间/特征通道压缩和激励模块(scSE-block+)的3D scSE-UNet作为分割网络.scSE-block+可以从图像空间和特征通道2个方面自动学习图像的有效特征,抑制无用冗余特征,更好地保留图像边缘信息.在自训练过程中加入全连接条件随机场,对分割网络产生的伪标签进行边缘细化,提升伪标签的精确度.在LiTS17 Challenge和SLIVER07数据集上验证所提出方法的有效性.当有标签图像占训练集总图像的30%时,所提方法的Dice相似系数(dice score)为0.941.结果表明,所提出的半监督学习分割方法可以在仅使用少量标注数据的情况下,取得与全监督分割方法相当的分割效果,有效减轻肝脏CT图像分割对专家标注数据的依赖. 展开更多

关键词 半监督学习 自训练 3D UNet 注意力模块 全连接条件随机场

在线阅读 下载PDF 职称材料

面向遥感图像检索的级联池化自注意力研究 被引量：6

8

作者 吴刚 葛芸 +1 位作者 储珺 叶发茂 《光电工程》 CAS CSCD 北大核心 2022年第12期53-65,共13页

高分辨率遥感图像检索中,由于图像内容复杂,细节信息丰富,以致通过卷积神经网络提取的特征难以有效表达图像的显著信息。针对该问题,提出一种基于级联池化的自注意力模块,用来提高卷积神经网络的特征表达。首先,设计了级联池化自注意力... 高分辨率遥感图像检索中,由于图像内容复杂,细节信息丰富,以致通过卷积神经网络提取的特征难以有效表达图像的显著信息。针对该问题,提出一种基于级联池化的自注意力模块,用来提高卷积神经网络的特征表达。首先,设计了级联池化自注意力模块,自注意力在建立语义依赖关系的基础上,可以学习图像关键的显著特征,级联池化是在小区域最大池化的基础上再进行均值池化,将其用于自注意力模块,能够在关注图像显著信息的同时保留图像重要的细节信息,进而增强特征的判别能力。然后,将级联池化自注意力模块嵌入到卷积神经网络中,进行特征的优化和提取。最后,为了进一步提高检索效率,采用监督核哈希对提取的特征进行降维,并将得到的低维哈希码用于遥感图像检索。在UC Merced、AID和NWPU-RESISC45数据集上的实验结果表明,本文方法能够有效提高检索性能。 展开更多

关键词 遥感图像检索 级联池化 自注意力模块 监督核哈希 卷积神经网络

在线阅读 下载PDF 职称材料

基于感知向量的光学遥感图像舰船检测 被引量：1

9

作者 潘超凡 李润生 +3 位作者 许岩 胡庆 牛朝阳 刘伟 《系统工程与电子技术》 EI CSCD 北大核心 2022年第12期3631-3640,共10页

针对光学遥感图像中近岸舰船目标检测干扰大、虚警率高的问题,在基于包围框边缘感知向量(box boundary-aware vectors,BBAVectors)检测网络的基础上提出了改进方法。首先在特征融合网络后加入一个有监督的注意力模块来增强目标区域信息... 针对光学遥感图像中近岸舰船目标检测干扰大、虚警率高的问题,在基于包围框边缘感知向量(box boundary-aware vectors,BBAVectors)检测网络的基础上提出了改进方法。首先在特征融合网络后加入一个有监督的注意力模块来增强目标区域信息,削弱无关背景信息干扰;然后利用边界感知向量间的几何关系设计了一个自监督损失函数,用以加强向量间的耦合关系,防止向量独立性导致包围框出现不规则形状。实验结果显示,在HRSC2016数据集L_(2)级检测任务中,改进模型检测结果的平均精度相较于原网络提高了6.91%,有效抑制了背景噪声的干扰,降低了近岸舰船目标检测的虚警率,证明了改进方法的有效性。 展开更多

关键词 光学遥感图像 舰船目标检测 包围框边缘感知向量 监督 注意力模块

在线阅读 下载PDF 职称材料

在线异常事件检测的时序建模 被引量：3

10

作者 卿来云 张建功 苗军 《计算机科学》 CSCD 北大核心 2021年第7期206-212,共7页

弱监督异常事件检测是一项极富挑战性的任务,其目标是在已知正常和异常视频标签的监督下,定位出异常发生的具体时序区间。文中采用多示例排序网络来实现弱监督异常事件检测任务,该框架在视频被切分为固定数量的片段后,将一个视频抽象为... 弱监督异常事件检测是一项极富挑战性的任务,其目标是在已知正常和异常视频标签的监督下,定位出异常发生的具体时序区间。文中采用多示例排序网络来实现弱监督异常事件检测任务,该框架在视频被切分为固定数量的片段后,将一个视频抽象为一个包,每个片段相当于包中的示例,多示例学习在已知包类别的前提下训练示例分类器。由于视频有丰富的时序信息,因此重点关注监控视频在线检测的时序关系。从全局和局部角度出发,采用自注意力模块学习出每个示例的权重,通过自注意力值与示例异常得分的线性加权,来获得视频整体的异常分数,并采用均方误差损失训练自注意力模块。另外,引入LSTM和时序卷积两种方式对时序建模,其中时序卷积又分为单一类别的时序空洞卷积和融合了不同空洞率的多尺度的金字塔时序空洞卷积。实验结果显示,多尺度的时序卷积优于单一类别的时序卷积,时序卷积联合包内包外互补损失的方法在当前UCF-Crime数据集上比不包含时序模块的基线方法的AUC指标高出了3.2%。 展开更多

关键词 异常事件检测 弱监督学习 多示例学习 注意力机制 时序卷积网络

在线阅读 下载PDF 职称材料

用于遥感图像变化检测的深度监督网络 被引量：1

11

作者 袁小平 王小倩 +1 位作者 何祥 胡杨明 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2023年第10期1966-1976,共11页

为了解决大多数全卷积网络出现的特征提取单一、遥感图像变化检测(CD)能力差的问题,借助Unet++网络构建用于遥感图像CD的深度监督网络(DSNet).设计多尺度残差模块替换传统卷积层,通过融合孪生网络双分支上的空间与光谱特性,获取遥感图... 为了解决大多数全卷积网络出现的特征提取单一、遥感图像变化检测(CD)能力差的问题,借助Unet++网络构建用于遥感图像CD的深度监督网络(DSNet).设计多尺度残差模块替换传统卷积层,通过融合孪生网络双分支上的空间与光谱特性,获取遥感图像在不同层次间的语义信息,有效解决了特征提取单一的问题.在模型解码端设计横向输出层,实现节点从低级向高级特征聚合的深度监督过程.将具备信息差异化的不同特征融合结果传输至基于归一化的注意力模块(NAM)中.在不引入额外参数的前提下增强了变化区域的信息权重.实验结果表明,所提模型在遥感图像CD任务中的召回率和精度分别为90.39%和92.04%,模型的参数量和计算量为6.38 M和60 G.与不同网络模型的对比表明,该方法具有检测精度高、速度快和轻量化等优点. 展开更多

关键词 图像分割 注意力模块 深度监督 横向输出层 轻量化 孪生网络

在线阅读 下载PDF 职称材料