由于患者个体差异、采集协议多样性和数据损坏等因素,现有基于磁共振成像(Magnetic resonance imaging,MRI)的脑肿瘤分割方法存在模态数据丢失问题,导致分割精度不高。为此,本文提出了一种基于U-Net和Transformer结合的不完整多模态脑...由于患者个体差异、采集协议多样性和数据损坏等因素,现有基于磁共振成像(Magnetic resonance imaging,MRI)的脑肿瘤分割方法存在模态数据丢失问题,导致分割精度不高。为此,本文提出了一种基于U-Net和Transformer结合的不完整多模态脑肿瘤分割(Incomplete multimodal brain tumor segmentation based on the combination of U-Net and Transformer,IM TransNet)方法。首先,针对脑肿瘤MRI的4个不同模态设计了单模态特定编码器,提升模型对各模态数据的表征能力。其次,在U-Net中嵌入双重注意力的Transformer模块,克服模态缺失引起的信息不完整问题,减少U-Net的长距离上下文交互和空间依赖性局限。在U-Net的跳跃连接中加入跳跃交叉注意力机制,动态关注不同层级和模态的特征,即使在模态缺失时,也能有效融合特征并进行重建。此外,针对模态缺失引起的训练不平衡问题,设计了辅助解码模块,确保模型在各种不完整模态子集上均能稳定高效地分割脑肿瘤。最后,基于公开数据集BRATS验证模型的性能。实验结果表明,本文提出的模型在增强型肿瘤、肿瘤核心和全肿瘤上的平均Dice评分分别为63.19%、76.42%和86.16%,证明了其在处理不完整多模态数据时的优越性和稳定性,为临床实践中脑肿瘤的准确、高效和可靠分割提供了一种可行的技术手段。展开更多
为使桥梁病害检测更加高效、客观和智能,提出一种自动识别并定量计算混凝土病害尺寸的方法。该方法采用视觉几何组网络(Visual Geometry Group Network,VGG)作为U形网络(U-Net)的主干网络,对混凝土病害(剥落、裂缝和露筋)图像进行语义分...为使桥梁病害检测更加高效、客观和智能,提出一种自动识别并定量计算混凝土病害尺寸的方法。该方法采用视觉几何组网络(Visual Geometry Group Network,VGG)作为U形网络(U-Net)的主干网络,对混凝土病害(剥落、裂缝和露筋)图像进行语义分割,采用数学形态学算法对图像中的病害区域进行优化。通过MATLAB软件计算得到优化后的分割图像中病害区域像素点的数量,并利用参照物标定出图像中单个像素点的尺寸,计算得到混凝土病害的面积(或长度)。采用该方法对河南省许昌市17座现役钢筋混凝土桥梁病害图像进行语义分割实验。结果表明:U-Net能以较高的精度对复杂背景下混凝土桥梁多类病害进行像素级的分类,类别平均像素准确率为90.53%,平均交并比为80.54%。使用数学形态学对语义分割图像进行优化后,计算精度明显提高,优化后的误差绝对值为0.08%~0.21%。展开更多
文摘由于患者个体差异、采集协议多样性和数据损坏等因素,现有基于磁共振成像(Magnetic resonance imaging,MRI)的脑肿瘤分割方法存在模态数据丢失问题,导致分割精度不高。为此,本文提出了一种基于U-Net和Transformer结合的不完整多模态脑肿瘤分割(Incomplete multimodal brain tumor segmentation based on the combination of U-Net and Transformer,IM TransNet)方法。首先,针对脑肿瘤MRI的4个不同模态设计了单模态特定编码器,提升模型对各模态数据的表征能力。其次,在U-Net中嵌入双重注意力的Transformer模块,克服模态缺失引起的信息不完整问题,减少U-Net的长距离上下文交互和空间依赖性局限。在U-Net的跳跃连接中加入跳跃交叉注意力机制,动态关注不同层级和模态的特征,即使在模态缺失时,也能有效融合特征并进行重建。此外,针对模态缺失引起的训练不平衡问题,设计了辅助解码模块,确保模型在各种不完整模态子集上均能稳定高效地分割脑肿瘤。最后,基于公开数据集BRATS验证模型的性能。实验结果表明,本文提出的模型在增强型肿瘤、肿瘤核心和全肿瘤上的平均Dice评分分别为63.19%、76.42%和86.16%,证明了其在处理不完整多模态数据时的优越性和稳定性,为临床实践中脑肿瘤的准确、高效和可靠分割提供了一种可行的技术手段。
文摘为使桥梁病害检测更加高效、客观和智能,提出一种自动识别并定量计算混凝土病害尺寸的方法。该方法采用视觉几何组网络(Visual Geometry Group Network,VGG)作为U形网络(U-Net)的主干网络,对混凝土病害(剥落、裂缝和露筋)图像进行语义分割,采用数学形态学算法对图像中的病害区域进行优化。通过MATLAB软件计算得到优化后的分割图像中病害区域像素点的数量,并利用参照物标定出图像中单个像素点的尺寸,计算得到混凝土病害的面积(或长度)。采用该方法对河南省许昌市17座现役钢筋混凝土桥梁病害图像进行语义分割实验。结果表明:U-Net能以较高的精度对复杂背景下混凝土桥梁多类病害进行像素级的分类,类别平均像素准确率为90.53%,平均交并比为80.54%。使用数学形态学对语义分割图像进行优化后,计算精度明显提高,优化后的误差绝对值为0.08%~0.21%。
