-
题名基于多教师网络模型的半监督语义分割方法
被引量：1
- 1
-
-
作者
许华杰
肖毅烽
-
机构
广西大学计算机与电子信息学院
广西多媒体通信与网络技术重点实验室
广西高校并行分布与智能计算重点实验室
广西智能数字服务工程技术研究中心
-
出处
《计算机科学》
CSCD
北大核心
2023年第12期279-284,共6页
-
基金
广西科技计划项目(2017AB15008)
崇左市科技计划项目(FB2018001)。
-
文摘
基于一致性正则化的方法在半监督语义分割任务中展现出了较好的性能,这类方法通常涉及两个角色:一个显式或隐式的教师网络和一个学生网络。其中学生网络通过最小化两个网络对不同扰动样本预测结果之间的一致性损失实现训练。但是来自单个教师网络的不可靠预测可能会导致学生网络学习到错误的信息。通过将平均教师模型MT的单教师网络扩展为多教师网络,提出了多平均教师网络(Multiple Mean Teacher Network,MMTNet)模型,使学生网络从多个教师网络的平均预测结果进行学习,有效降低单个教师网络预测错误的影响。此外,MMTNet通过对无标签数据进行强、弱数据增强的方式对无标签数据进行数据扰动,增加了无标签数据的多样性,在一定程度上缓解了学生网络和教师网络之间存在的耦合问题,避免了学生网络对教师网络的过度拟合,从而进一步降低了教师网络进行伪标签预测错误时所产生的影响。在PASCAL VOC 2012扩充数据集上的实验结果表明,所提出的多平均教师网络MMTNet模型可获得比其他目前主流的半监督语义分割方法更高的平均交并比,且实际分割效果更优。
-
关键词
半监督学习
语义分割
平均教师模型
多教师网络
一致性正则化
-
Keywords
Semi-supervised learning
Semantic segmentation
Mean teacher model
Multi-teacher network
Consistency regularization
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于知识蒸馏的多模态融合行为识别方法
被引量：1
- 2
-
-
作者
詹健浩
甘利鹏
毕永辉
曾鹏
李晓潮
-
机构
厦门大学电子科学与技术学院
厦门市美亚柏科信息股份有限公司
厦门市公安局
-
出处
《计算机工程》
CAS
CSCD
北大核心
2023年第10期280-288,297,共10页
-
基金
福建省高校产学研联合创新项目(2022H6004)
集成电路设计与测试分析福建省高校重点实验室基金
厦门大学马来西亚研究基金(XMUMRF/2019-C4/IECE/0008)。
-
文摘
有效利用多模态数据的不同特征能够提高行为识别性能,其核心问题在于多模态融合,主要包括在数据层面、特征层面和预测分数层面融合不同模态数据的特征信息。研究在特征和预测分数2个层面通过多教师知识蒸馏的多模态融合方法,将多模态数据的互补特征迁移到RGB网络,以及采用不同知识蒸馏损失函数和模态组合的行为识别效果。提出一种基于知识蒸馏的多模态行为识别方法,通过在特征上采用MSE损失函数、在预测分数上采用KL散度进行知识蒸馏,并采用原始的骨骼模态和光流模态的教师网络的组合进行多模态融合,使RGB学生网络同时学习到光流和骨骼教师网络的特征语义信息和预测分布信息,从而提高识别准确率。实验结果表明,该方法在常用的多模态数据集NTU RGB+D 60、UTD-MHAD和N-UCLA以及单模态数据集HMDB51上分别达到90.09%、95.12%、97.82%和81.26%的准确率,在UTD-MHAD数据集上的识别准确率相比于单模态RGB数据分别提升3.49、2.54、3.21和7.34个百分点。
-
关键词
行为识别
知识蒸馏
多模态融合
深度学习
多教师网络
-
Keywords
action recognition
knowledge distillation
multi-modality fusion
deep learning
multi-teacher network
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
