精确的心脏结构分割对于心脏血管疾病辅助诊断和术前的准确评估有着重要的意义。不同模态的影像之间在空间分布和语义表达上存在显著差异,但现有方法多采用单分支网络结构,难以充分融合多模态信息,在多模态任务上缺乏泛化能力。针对这...精确的心脏结构分割对于心脏血管疾病辅助诊断和术前的准确评估有着重要的意义。不同模态的影像之间在空间分布和语义表达上存在显著差异,但现有方法多采用单分支网络结构,难以充分融合多模态信息,在多模态任务上缺乏泛化能力。针对这一问题,提出一种融合状态空间模型Mamba与卷积模型的多分支协同分割网络MCNet(Multi-modal collaborative network)。该网络主要由3个模块构成:基于Mamba与卷积神经网络的双分支特征提取器、动态特征融合模块以及Mamba解码器。特征提取器的双分支分别侧重于提取全局语义与局部细节特征,动态特征融合模块根据图像动态调整多种融合路径的权重,从而实现不同分支的动态特征整合。本文提出的方法在心脏的MRI数据集ACDC与超声数据集CAMUS上进行了充分实验。实验结果表明,本文方法通过基于混合专家(Mixture of experts,MoE)机制的动态特征融合模块,动态调整Mamba全局特征和CNN局部特征的融合权重,在边界清晰的ACDC数据集中,平均Dice和交并比IoU分别达到0.845和0.779,在边界模糊的CAMUS数据集中的平均Dice和IoU分别达到0.883和0.796,均优于目前主流方法。同时,消融实验进一步验证了每个模块的有效性。MCNet通过MoE机制实时调整全局和局部特征的融合权重,在保证全局感知的同时提升了结构细节完整性,为多模态心脏影像分割提供了高效而鲁棒的解决方案。展开更多
文摘精确的心脏结构分割对于心脏血管疾病辅助诊断和术前的准确评估有着重要的意义。不同模态的影像之间在空间分布和语义表达上存在显著差异,但现有方法多采用单分支网络结构,难以充分融合多模态信息,在多模态任务上缺乏泛化能力。针对这一问题,提出一种融合状态空间模型Mamba与卷积模型的多分支协同分割网络MCNet(Multi-modal collaborative network)。该网络主要由3个模块构成:基于Mamba与卷积神经网络的双分支特征提取器、动态特征融合模块以及Mamba解码器。特征提取器的双分支分别侧重于提取全局语义与局部细节特征,动态特征融合模块根据图像动态调整多种融合路径的权重,从而实现不同分支的动态特征整合。本文提出的方法在心脏的MRI数据集ACDC与超声数据集CAMUS上进行了充分实验。实验结果表明,本文方法通过基于混合专家(Mixture of experts,MoE)机制的动态特征融合模块,动态调整Mamba全局特征和CNN局部特征的融合权重,在边界清晰的ACDC数据集中,平均Dice和交并比IoU分别达到0.845和0.779,在边界模糊的CAMUS数据集中的平均Dice和IoU分别达到0.883和0.796,均优于目前主流方法。同时,消融实验进一步验证了每个模块的有效性。MCNet通过MoE机制实时调整全局和局部特征的融合权重,在保证全局感知的同时提升了结构细节完整性,为多模态心脏影像分割提供了高效而鲁棒的解决方案。
