近年来,Transformer在众多监督式计算机视觉任务中取得了显著进展,然而由于高质量医学标注图像的缺乏,其在半监督图像分割领域的性能仍有待提高。为此,提出了一种基于多尺度和多视图Transformer的半监督医学图像分割框架:MSMVT(multi-sc...近年来,Transformer在众多监督式计算机视觉任务中取得了显著进展,然而由于高质量医学标注图像的缺乏,其在半监督图像分割领域的性能仍有待提高。为此,提出了一种基于多尺度和多视图Transformer的半监督医学图像分割框架:MSMVT(multi-scale and multi-view transformer)。鉴于对比学习在Transformer的预训练中取得的良好效果,设计了一个基于伪标签引导的多尺度原型对比学习模块。该模块利用图像金字塔数据增强技术,为无标签图像生成富有语义信息的多尺度原型表示;通过对比学习,强化了不同尺度原型之间的一致性,从而有效缓解了由标签稀缺性导致的Transformer训练不足的问题。此外,为了增强Transformer模型训练的稳定性,提出了多视图一致性学习策略。通过弱扰动视图,以校正多个强扰动视图。通过最小化不同视图之间的输出差异性,使得模型能够对不同扰动保持多层次的一致性。实验结果表明,当仅采用10%的标注比例时,提出的MSMVT框架在ACDC、LIDC和ISIC三个公共数据集上的DSC图像分割性能指标分别达到了88.93%、84.75%和85.38%,优于现有的半监督医学图像分割方法。展开更多
文摘近年来,Transformer在众多监督式计算机视觉任务中取得了显著进展,然而由于高质量医学标注图像的缺乏,其在半监督图像分割领域的性能仍有待提高。为此,提出了一种基于多尺度和多视图Transformer的半监督医学图像分割框架:MSMVT(multi-scale and multi-view transformer)。鉴于对比学习在Transformer的预训练中取得的良好效果,设计了一个基于伪标签引导的多尺度原型对比学习模块。该模块利用图像金字塔数据增强技术,为无标签图像生成富有语义信息的多尺度原型表示;通过对比学习,强化了不同尺度原型之间的一致性,从而有效缓解了由标签稀缺性导致的Transformer训练不足的问题。此外,为了增强Transformer模型训练的稳定性,提出了多视图一致性学习策略。通过弱扰动视图,以校正多个强扰动视图。通过最小化不同视图之间的输出差异性,使得模型能够对不同扰动保持多层次的一致性。实验结果表明,当仅采用10%的标注比例时,提出的MSMVT框架在ACDC、LIDC和ISIC三个公共数据集上的DSC图像分割性能指标分别达到了88.93%、84.75%和85.38%,优于现有的半监督医学图像分割方法。
文摘针对医学图像分割领域长期存在的多目标尺度变化大和边界模糊以致分割困难的问题,提出了一种新型的基于混洗特征编码和门控解码的双分支混合网络框架用于多器官精准分割.为了充分利用卷积神经网络(Convolutional Neural Network,CNN)在局部信息提取方面和Transformer在长程依赖关系建模方面的优势,采用U-Net和SwinUnet构建双分支网络.该方法的创新之处在于对不同网络分支的多个阶段学习到的高维特征进行混洗操作,通过双支路通道交叉融合的方式实现局部信息与全局信息的高效融合,加强了双分支网络在不同阶段间的信息交互,从而解决了图像目标轮廓模糊引起的分割精度受限的问题.此外,为了解决多器官尺度变化大的问题,进一步提出了一种全新的基于多尺度特征图的门控解码器(Gated Decoder based on Multi-scale Feature,GDMF).该解码器能够学习网络不同阶段的多尺度高维特征并进行自适应特征增强,采用注意力机制和特征映射来辅助获取精准目标信息.实验结果表明,与现有主流医学图像分割方法相比,所提方法在ACDC(Automated Cardiac Diagnosis Challenge)和FLARE21(Fast and Low GPU memory Abdominal oRgan sEgmentation challenge 2021)数据集上均表现出更优的性能,有效解决了医学图像中多目标尺度变化大和边界模糊问题.
