多数基于卷积神经网络的语义分割算法伴随庞大的参数量和计算复杂度,限制了其在实时处理场景中的应用。为解决该问题,提出了一种基于全局-局部上下文网络(GLCNet)的轻量级语义分割算法。该算法主要由全局-局部上下文(GLC)模块和多分辨...多数基于卷积神经网络的语义分割算法伴随庞大的参数量和计算复杂度,限制了其在实时处理场景中的应用。为解决该问题,提出了一种基于全局-局部上下文网络(GLCNet)的轻量级语义分割算法。该算法主要由全局-局部上下文(GLC)模块和多分辨率融合(MRF)模块构成。全局-局部上下文模块学习图像的全局信息和局部上下文信息,使用残差连接增强特征之间的依赖关系。在此基础上,提出了多分辨率融合模块聚合不同阶段的特征,对低分辨率特征进行上采样,与高分辨率特征融合增强高层特征的空间信息。在Cityscapes和Camvid数据集上进行测试,平均交并比(mIoU)分别达到69.89%和68.86%,在单块NVIDIA Titan V GPU上,速度分别达到87帧/s和122帧/s。实验结果表明:所提算法在分割精度、效率及参数量之间实现了较好的平衡,参数量仅有0.68×10^(6)。展开更多
乳腺癌磁共振成像(nuclear magnetic resonance imaging,MRI)数据由于不同医院采集方式不同、设备不同或病人等自身原因,会存在同一病人不同序列缺失的问题。目前主流的图像生成对抗网络Pix2Pix和Cycle-consistency是医学图像生成的两...乳腺癌磁共振成像(nuclear magnetic resonance imaging,MRI)数据由于不同医院采集方式不同、设备不同或病人等自身原因,会存在同一病人不同序列缺失的问题。目前主流的图像生成对抗网络Pix2Pix和Cycle-consistency是医学图像生成的两种主要模式,这类方法要求不同MRI序列数据配对出现,难以处理存在缺失的数据,此外,该类方法往往关注整幅图像的生成质量,缺少对疾病诊断更有价值的病灶区域的生成质量的监控。针对以上问题,该文受配准网络(RegGAN)自适应对准图像空间分布的启发,设计了一种新的基于特征增强的双注意力配准生成对抗网络DA-RegGAN。该网络在生成器中引入卷积注意力模块,使网络更注重病灶的学习;在判别器中添加梯度正则化约束,主要解决网络训练不稳定容易出现模式崩溃的现象,使网络生成包含更清晰的病灶细节全局图。该文在1697幅乳腺数据上开展消融实验、不同图像生成算法间的对比实验、肿瘤分类实验,进一步验证了方法的有效性。与原始RegGAN比,全局图像生成质量和局部病灶图像生成质量均得到提升,局部图像质量较原始PSNR提升了0.518,SSIM提升了0.021;全局图像质量较原始PSNR提升了0.584,SSIM提升了0.020。展开更多
文摘多数基于卷积神经网络的语义分割算法伴随庞大的参数量和计算复杂度,限制了其在实时处理场景中的应用。为解决该问题,提出了一种基于全局-局部上下文网络(GLCNet)的轻量级语义分割算法。该算法主要由全局-局部上下文(GLC)模块和多分辨率融合(MRF)模块构成。全局-局部上下文模块学习图像的全局信息和局部上下文信息,使用残差连接增强特征之间的依赖关系。在此基础上,提出了多分辨率融合模块聚合不同阶段的特征,对低分辨率特征进行上采样,与高分辨率特征融合增强高层特征的空间信息。在Cityscapes和Camvid数据集上进行测试,平均交并比(mIoU)分别达到69.89%和68.86%,在单块NVIDIA Titan V GPU上,速度分别达到87帧/s和122帧/s。实验结果表明:所提算法在分割精度、效率及参数量之间实现了较好的平衡,参数量仅有0.68×10^(6)。
文摘乳腺癌磁共振成像(nuclear magnetic resonance imaging,MRI)数据由于不同医院采集方式不同、设备不同或病人等自身原因,会存在同一病人不同序列缺失的问题。目前主流的图像生成对抗网络Pix2Pix和Cycle-consistency是医学图像生成的两种主要模式,这类方法要求不同MRI序列数据配对出现,难以处理存在缺失的数据,此外,该类方法往往关注整幅图像的生成质量,缺少对疾病诊断更有价值的病灶区域的生成质量的监控。针对以上问题,该文受配准网络(RegGAN)自适应对准图像空间分布的启发,设计了一种新的基于特征增强的双注意力配准生成对抗网络DA-RegGAN。该网络在生成器中引入卷积注意力模块,使网络更注重病灶的学习;在判别器中添加梯度正则化约束,主要解决网络训练不稳定容易出现模式崩溃的现象,使网络生成包含更清晰的病灶细节全局图。该文在1697幅乳腺数据上开展消融实验、不同图像生成算法间的对比实验、肿瘤分类实验,进一步验证了方法的有效性。与原始RegGAN比,全局图像生成质量和局部病灶图像生成质量均得到提升,局部图像质量较原始PSNR提升了0.518,SSIM提升了0.021;全局图像质量较原始PSNR提升了0.584,SSIM提升了0.020。
