针对目前自蒸馏结构中反向解耦标签编码研究不足,文中提出了一种基于自蒸馏的图像分类框架:Self-distillation with Labels(SDL)。SDL框架中设计了一种有效的标签编码器,并将其与主干神经网络结合,通过软损失以及硬损失进行自蒸馏,使得...针对目前自蒸馏结构中反向解耦标签编码研究不足,文中提出了一种基于自蒸馏的图像分类框架:Self-distillation with Labels(SDL)。SDL框架中设计了一种有效的标签编码器,并将其与主干神经网络结合,通过软损失以及硬损失进行自蒸馏,使得整个框架同步更新参数。图像分类实验在CIFAR10,CIFAR100,UC Merced三个公开数据集上进行,在主干网络为ResNet50、数据集为CIFAR100的情况下,top-1准确率达到了83.11%。实验结果表明,SDL框架与当前的自蒸馏方法相比具有明显的优势;同时SDL在不同主干网络与数据集下仍然具有良好的性能和泛化性。展开更多
文摘针对目前自蒸馏结构中反向解耦标签编码研究不足,文中提出了一种基于自蒸馏的图像分类框架:Self-distillation with Labels(SDL)。SDL框架中设计了一种有效的标签编码器,并将其与主干神经网络结合,通过软损失以及硬损失进行自蒸馏,使得整个框架同步更新参数。图像分类实验在CIFAR10,CIFAR100,UC Merced三个公开数据集上进行,在主干网络为ResNet50、数据集为CIFAR100的情况下,top-1准确率达到了83.11%。实验结果表明,SDL框架与当前的自蒸馏方法相比具有明显的优势;同时SDL在不同主干网络与数据集下仍然具有良好的性能和泛化性。
