近年来,Transformer在众多监督式计算机视觉任务中取得了显著进展,然而由于高质量医学标注图像的缺乏,其在半监督图像分割领域的性能仍有待提高。为此,提出了一种基于多尺度和多视图Transformer的半监督医学图像分割框架:MSMVT(multi-sc...近年来,Transformer在众多监督式计算机视觉任务中取得了显著进展,然而由于高质量医学标注图像的缺乏,其在半监督图像分割领域的性能仍有待提高。为此,提出了一种基于多尺度和多视图Transformer的半监督医学图像分割框架:MSMVT(multi-scale and multi-view transformer)。鉴于对比学习在Transformer的预训练中取得的良好效果,设计了一个基于伪标签引导的多尺度原型对比学习模块。该模块利用图像金字塔数据增强技术,为无标签图像生成富有语义信息的多尺度原型表示;通过对比学习,强化了不同尺度原型之间的一致性,从而有效缓解了由标签稀缺性导致的Transformer训练不足的问题。此外,为了增强Transformer模型训练的稳定性,提出了多视图一致性学习策略。通过弱扰动视图,以校正多个强扰动视图。通过最小化不同视图之间的输出差异性,使得模型能够对不同扰动保持多层次的一致性。实验结果表明,当仅采用10%的标注比例时,提出的MSMVT框架在ACDC、LIDC和ISIC三个公共数据集上的DSC图像分割性能指标分别达到了88.93%、84.75%和85.38%,优于现有的半监督医学图像分割方法。展开更多
遮挡行人重识别是一项具有挑战性的计算机视觉任务。提出了一种FGMS-Net网络方法,通过多个方面的改进显著提升了遮挡环境下的行人重识别能力。首先,采用改进的前景分割技术,有效地去除背景和其他杂波信息,使得特征提取更加精确。其次,...遮挡行人重识别是一项具有挑战性的计算机视觉任务。提出了一种FGMS-Net网络方法,通过多个方面的改进显著提升了遮挡环境下的行人重识别能力。首先,采用改进的前景分割技术,有效地去除背景和其他杂波信息,使得特征提取更加精确。其次,针对遮挡问题,引入多尺度特征判别的方法,使得模型能够更好地捕捉局部特征,从而增强识别能力。最后,在主干网络中添加注意力机制,使得网络能够更加关注关键信息,提高整体识别性能。实验结果表明,所提方法在遮挡行人重识别任务中取得了显著的性能提升,在Occluded-DukeMTMC数据集上,累积匹配特征Rank-1和平均精度均值(mean average precision,mAP)分别达到了71.7%和61.6%。展开更多
文摘近年来,Transformer在众多监督式计算机视觉任务中取得了显著进展,然而由于高质量医学标注图像的缺乏,其在半监督图像分割领域的性能仍有待提高。为此,提出了一种基于多尺度和多视图Transformer的半监督医学图像分割框架:MSMVT(multi-scale and multi-view transformer)。鉴于对比学习在Transformer的预训练中取得的良好效果,设计了一个基于伪标签引导的多尺度原型对比学习模块。该模块利用图像金字塔数据增强技术,为无标签图像生成富有语义信息的多尺度原型表示;通过对比学习,强化了不同尺度原型之间的一致性,从而有效缓解了由标签稀缺性导致的Transformer训练不足的问题。此外,为了增强Transformer模型训练的稳定性,提出了多视图一致性学习策略。通过弱扰动视图,以校正多个强扰动视图。通过最小化不同视图之间的输出差异性,使得模型能够对不同扰动保持多层次的一致性。实验结果表明,当仅采用10%的标注比例时,提出的MSMVT框架在ACDC、LIDC和ISIC三个公共数据集上的DSC图像分割性能指标分别达到了88.93%、84.75%和85.38%,优于现有的半监督医学图像分割方法。
文摘遮挡行人重识别是一项具有挑战性的计算机视觉任务。提出了一种FGMS-Net网络方法,通过多个方面的改进显著提升了遮挡环境下的行人重识别能力。首先,采用改进的前景分割技术,有效地去除背景和其他杂波信息,使得特征提取更加精确。其次,针对遮挡问题,引入多尺度特征判别的方法,使得模型能够更好地捕捉局部特征,从而增强识别能力。最后,在主干网络中添加注意力机制,使得网络能够更加关注关键信息,提高整体识别性能。实验结果表明,所提方法在遮挡行人重识别任务中取得了显著的性能提升,在Occluded-DukeMTMC数据集上,累积匹配特征Rank-1和平均精度均值(mean average precision,mAP)分别达到了71.7%和61.6%。
