医学图像配准模型旨在建立图像间解剖位置的对应关系。传统的图像配准方法通过不断迭代获取形变场,耗费时间长且精度不高。深度神经网络不仅实现了端到端的形变场生成,加快了形变场的生成,而且进一步提升了图像配准的精度。针对目前的...医学图像配准模型旨在建立图像间解剖位置的对应关系。传统的图像配准方法通过不断迭代获取形变场,耗费时间长且精度不高。深度神经网络不仅实现了端到端的形变场生成,加快了形变场的生成,而且进一步提升了图像配准的精度。针对目前的深度学习配准模型均采用单一的卷积神经网络(CNN)或Transformer架构,无法充分发挥CNN与Transformer结合的优势导致配准精度不足,以及图像配准后无法有效保持原始拓扑结构等问题,提出一种基于CNN与Transformer并行的医学图像配准模型PPCTNet(Parallel Processing of CNN and Transformer Network)。首先,选用目前配准精度优秀的Swin Transformer和极轻量化的CNN——LOCV-Net(Lightweight attenti On-based Con Volutional Network)构建模型;其次,设计融合策略充分融合Swin Transformer与LOCV-Net提取的特征信息,使模型不仅拥有CNN的局部特征提取能力和Transformer的长距离依赖能力,还兼具轻量化的优势;最后,基于脑部磁共振成像(MRI)数据集,比较PPCTNet与10种经典图像配准模型。结果表明,相较于目前优秀的配准模型Trans Morph(hybrid Transformer-Conv Net network for image registration),PPCTNet的最高配准精度提高了0.5个百分点,且形变场的折叠率下降了1.56个百分点,维持了配准图像的拓扑结构。此外,PPCTNet的参数量比Trans Morph下降了10.39×10^(6),计算量下降了278×10^(9),体现了PPCTNet的轻量化优势。展开更多
针对合成孔径雷达图像的语义分割问题,构建了一个全新的TerraSAR-X语义分割数据集GDUT-Nansha。然后,为解决传统深度学习方法模型体积大,难以在样本数量偏少的合成孔径雷达图像数据集上应用的问题,对轻量化卷积神经网络ENet模型进行了...针对合成孔径雷达图像的语义分割问题,构建了一个全新的TerraSAR-X语义分割数据集GDUT-Nansha。然后,为解决传统深度学习方法模型体积大,难以在样本数量偏少的合成孔径雷达图像数据集上应用的问题,对轻量化卷积神经网络ENet模型进行了分析和改造。提出了一种改进的轻量化卷积神经网络模型(revised weighted loss eNet,RWL-ENet);针对合成孔径雷达图像数据集样本不平衡问题,使用了带有权重的损失函数。通过和其他经典卷积神经网络语义分割模型的对比实验,验证了新数据集的可靠性;同时,在参数量和模型体积远远小于其他网络模型的前提下,RWL-ENet模型在像素精度、平均像素精度、平均交并比三个定量指标上分别达到了0.884、0.804和0.645。展开更多
针对当前基于深度神经网络的目标检测往往存在计算复杂度高、对硬件要求苛刻、难以在嵌入式平台和移动智能设备上运行且运行速率低等问题,提出一种基于YOLOv4(You Only Look Once Version4)的轻量化混合神经网络。此混合网络主干特征提...针对当前基于深度神经网络的目标检测往往存在计算复杂度高、对硬件要求苛刻、难以在嵌入式平台和移动智能设备上运行且运行速率低等问题,提出一种基于YOLOv4(You Only Look Once Version4)的轻量化混合神经网络。此混合网络主干特征提取网络采用轻量级MobileNeXt网络模型,并使用改进后RFB(Receptive Field Block)模型来增强特征提取网络,进而增大感受野;引入通道注意力机制SE(Squeeze-and-Excitation)模块,过滤筛选出高质量信息,使整个网络模型对特征提取更加高效。实验结果表明,在PASCAL VOC 2007数据集上,基于YOLOv4的轻量化混合神经网络模型大小仅占20.6 MB,很大程度上降低了原YOLOv4模型参数量,mAP(mean Average Precision)达到82.51%,帧处理速率为29.7 frame/s。,有较好的检测效果和较强的鲁棒性。展开更多
文摘医学图像配准模型旨在建立图像间解剖位置的对应关系。传统的图像配准方法通过不断迭代获取形变场,耗费时间长且精度不高。深度神经网络不仅实现了端到端的形变场生成,加快了形变场的生成,而且进一步提升了图像配准的精度。针对目前的深度学习配准模型均采用单一的卷积神经网络(CNN)或Transformer架构,无法充分发挥CNN与Transformer结合的优势导致配准精度不足,以及图像配准后无法有效保持原始拓扑结构等问题,提出一种基于CNN与Transformer并行的医学图像配准模型PPCTNet(Parallel Processing of CNN and Transformer Network)。首先,选用目前配准精度优秀的Swin Transformer和极轻量化的CNN——LOCV-Net(Lightweight attenti On-based Con Volutional Network)构建模型;其次,设计融合策略充分融合Swin Transformer与LOCV-Net提取的特征信息,使模型不仅拥有CNN的局部特征提取能力和Transformer的长距离依赖能力,还兼具轻量化的优势;最后,基于脑部磁共振成像(MRI)数据集,比较PPCTNet与10种经典图像配准模型。结果表明,相较于目前优秀的配准模型Trans Morph(hybrid Transformer-Conv Net network for image registration),PPCTNet的最高配准精度提高了0.5个百分点,且形变场的折叠率下降了1.56个百分点,维持了配准图像的拓扑结构。此外,PPCTNet的参数量比Trans Morph下降了10.39×10^(6),计算量下降了278×10^(9),体现了PPCTNet的轻量化优势。
文摘针对合成孔径雷达图像的语义分割问题,构建了一个全新的TerraSAR-X语义分割数据集GDUT-Nansha。然后,为解决传统深度学习方法模型体积大,难以在样本数量偏少的合成孔径雷达图像数据集上应用的问题,对轻量化卷积神经网络ENet模型进行了分析和改造。提出了一种改进的轻量化卷积神经网络模型(revised weighted loss eNet,RWL-ENet);针对合成孔径雷达图像数据集样本不平衡问题,使用了带有权重的损失函数。通过和其他经典卷积神经网络语义分割模型的对比实验,验证了新数据集的可靠性;同时,在参数量和模型体积远远小于其他网络模型的前提下,RWL-ENet模型在像素精度、平均像素精度、平均交并比三个定量指标上分别达到了0.884、0.804和0.645。
文摘针对当前基于深度神经网络的目标检测往往存在计算复杂度高、对硬件要求苛刻、难以在嵌入式平台和移动智能设备上运行且运行速率低等问题,提出一种基于YOLOv4(You Only Look Once Version4)的轻量化混合神经网络。此混合网络主干特征提取网络采用轻量级MobileNeXt网络模型,并使用改进后RFB(Receptive Field Block)模型来增强特征提取网络,进而增大感受野;引入通道注意力机制SE(Squeeze-and-Excitation)模块,过滤筛选出高质量信息,使整个网络模型对特征提取更加高效。实验结果表明,在PASCAL VOC 2007数据集上,基于YOLOv4的轻量化混合神经网络模型大小仅占20.6 MB,很大程度上降低了原YOLOv4模型参数量,mAP(mean Average Precision)达到82.51%,帧处理速率为29.7 frame/s。,有较好的检测效果和较强的鲁棒性。
