由于患者个体差异、采集协议多样性和数据损坏等因素,现有基于磁共振成像(Magnetic resonance imaging,MRI)的脑肿瘤分割方法存在模态数据丢失问题,导致分割精度不高。为此,本文提出了一种基于U-Net和Transformer结合的不完整多模态脑...由于患者个体差异、采集协议多样性和数据损坏等因素,现有基于磁共振成像(Magnetic resonance imaging,MRI)的脑肿瘤分割方法存在模态数据丢失问题,导致分割精度不高。为此,本文提出了一种基于U-Net和Transformer结合的不完整多模态脑肿瘤分割(Incomplete multimodal brain tumor segmentation based on the combination of U-Net and Transformer,IM TransNet)方法。首先,针对脑肿瘤MRI的4个不同模态设计了单模态特定编码器,提升模型对各模态数据的表征能力。其次,在U-Net中嵌入双重注意力的Transformer模块,克服模态缺失引起的信息不完整问题,减少U-Net的长距离上下文交互和空间依赖性局限。在U-Net的跳跃连接中加入跳跃交叉注意力机制,动态关注不同层级和模态的特征,即使在模态缺失时,也能有效融合特征并进行重建。此外,针对模态缺失引起的训练不平衡问题,设计了辅助解码模块,确保模型在各种不完整模态子集上均能稳定高效地分割脑肿瘤。最后,基于公开数据集BRATS验证模型的性能。实验结果表明,本文提出的模型在增强型肿瘤、肿瘤核心和全肿瘤上的平均Dice评分分别为63.19%、76.42%和86.16%,证明了其在处理不完整多模态数据时的优越性和稳定性,为临床实践中脑肿瘤的准确、高效和可靠分割提供了一种可行的技术手段。展开更多
针对卷积神经网络(CNN)在感受野有限、缺乏对全局信息的有效感知,以及在处理短时稳态运动视觉诱发电位(SSMVEP)信号时分类效果欠佳的问题,提出了一种紧凑EEGNet-Transformer(即EEGNetformer)网络。EEGNetformer网络融合了为脑电(EEG)信...针对卷积神经网络(CNN)在感受野有限、缺乏对全局信息的有效感知,以及在处理短时稳态运动视觉诱发电位(SSMVEP)信号时分类效果欠佳的问题,提出了一种紧凑EEGNet-Transformer(即EEGNetformer)网络。EEGNetformer网络融合了为脑电(EEG)信号识别任务而设计的通用的卷积神经网络EEGNet网络和Transformer网络的优势,有效地捕捉与处理脑电信号中的局部和全局信息,增强网络对SSMVEP特征的学习,进而实现良好的解码性能。EEGNet网络用于提取SSMVEP的局部时间和空间特征,而Transformer网络用于捕捉脑电时间序列的全局信息。在基于SSMVEP-BCI范式采集的数据基础上,开展了实验以评估EEGNetformer网络的性能。实验结果显示,当在2 s SSMVEP数据条件下,EEGNetformer网络在基于被试者内情况的平均准确率为88.9%±6.6%,在基于跨被试者情况的平均准确率为69.1%±4.3%。与传统的CNN算法相比,EEGNetformer网络的分类性能提升了4.2%~17.4%。研究内容说明,EEGNetformer网络在有效提高SSMVEP-BCI识别准确率方面具有显著优势,为进一步提升SSMVEP-BCI解码性能提供了新的研究思路。展开更多
针对水下图像对比度低、噪声大和存在色彩偏差等问题,以生成对抗网络(GAN)为核心框架,提出一种基于Swin Transformer的生成对抗网络水下图像增强模型SwinGAN(GAN based on Swin Transformer)。首先,生成网络部分遵循编码器-瓶颈层-解码...针对水下图像对比度低、噪声大和存在色彩偏差等问题,以生成对抗网络(GAN)为核心框架,提出一种基于Swin Transformer的生成对抗网络水下图像增强模型SwinGAN(GAN based on Swin Transformer)。首先,生成网络部分遵循编码器-瓶颈层-解码器的结构设计,在瓶颈层将输入的特征图分割成多个不重叠的局部窗口;其次,引入双路窗口多头自注意力机制(DWMSA),在加强捕获全局信息和长距离依赖关系的同时,增强局部注意力;最后,在解码器中将下采样后的特征图经过多个上采样窗口重新组合成原始尺寸的特征图,判别网络则采用马尔可夫判别器。实验结果表明,与URSCT-SESR模型相比,在UFO-120数据集上,SwinGAN的峰值信噪比(PSNR)提升了0.837 2 dB,结构相似度(SSIM)提高了0.003 6;在EUVP-515数据集上,SwinGAN的PSNR提升了0.843 9 dB,SSIM提高了0.005 1,水下图像质量评价指标(UIQM)增加了0.112 4,水下彩色图像质量评估指标(UCIQE)略有上升,增加了0.001 0。可见,SwinGAN的主观评价以及客观评价指标都表现出色,在改善水下图像的色彩偏差问题上取得了不错的效果。展开更多
文摘由于患者个体差异、采集协议多样性和数据损坏等因素,现有基于磁共振成像(Magnetic resonance imaging,MRI)的脑肿瘤分割方法存在模态数据丢失问题,导致分割精度不高。为此,本文提出了一种基于U-Net和Transformer结合的不完整多模态脑肿瘤分割(Incomplete multimodal brain tumor segmentation based on the combination of U-Net and Transformer,IM TransNet)方法。首先,针对脑肿瘤MRI的4个不同模态设计了单模态特定编码器,提升模型对各模态数据的表征能力。其次,在U-Net中嵌入双重注意力的Transformer模块,克服模态缺失引起的信息不完整问题,减少U-Net的长距离上下文交互和空间依赖性局限。在U-Net的跳跃连接中加入跳跃交叉注意力机制,动态关注不同层级和模态的特征,即使在模态缺失时,也能有效融合特征并进行重建。此外,针对模态缺失引起的训练不平衡问题,设计了辅助解码模块,确保模型在各种不完整模态子集上均能稳定高效地分割脑肿瘤。最后,基于公开数据集BRATS验证模型的性能。实验结果表明,本文提出的模型在增强型肿瘤、肿瘤核心和全肿瘤上的平均Dice评分分别为63.19%、76.42%和86.16%,证明了其在处理不完整多模态数据时的优越性和稳定性,为临床实践中脑肿瘤的准确、高效和可靠分割提供了一种可行的技术手段。
文摘针对卷积神经网络(CNN)在感受野有限、缺乏对全局信息的有效感知,以及在处理短时稳态运动视觉诱发电位(SSMVEP)信号时分类效果欠佳的问题,提出了一种紧凑EEGNet-Transformer(即EEGNetformer)网络。EEGNetformer网络融合了为脑电(EEG)信号识别任务而设计的通用的卷积神经网络EEGNet网络和Transformer网络的优势,有效地捕捉与处理脑电信号中的局部和全局信息,增强网络对SSMVEP特征的学习,进而实现良好的解码性能。EEGNet网络用于提取SSMVEP的局部时间和空间特征,而Transformer网络用于捕捉脑电时间序列的全局信息。在基于SSMVEP-BCI范式采集的数据基础上,开展了实验以评估EEGNetformer网络的性能。实验结果显示,当在2 s SSMVEP数据条件下,EEGNetformer网络在基于被试者内情况的平均准确率为88.9%±6.6%,在基于跨被试者情况的平均准确率为69.1%±4.3%。与传统的CNN算法相比,EEGNetformer网络的分类性能提升了4.2%~17.4%。研究内容说明,EEGNetformer网络在有效提高SSMVEP-BCI识别准确率方面具有显著优势,为进一步提升SSMVEP-BCI解码性能提供了新的研究思路。
