期刊文献+
共找到1篇文章
< 1 >
每页显示 20 50 100
多模态跨级特征知识转移下音频目标检测网络
1
作者 刘诗蓓 陈莹 《光学精密工程》 EI CAS CSCD 北大核心 2024年第2期237-251,共15页
声音作为物体固有属性之一能为目标检测提供有价值的信息,当前仅通过监测环境声进行目标定位的方法鲁棒性较低,为解决这一问题提出了跨级特征知识转移下的多模态自监督目标检测网络。首先,针对教师网络和学生网络同级特征间学习能力有... 声音作为物体固有属性之一能为目标检测提供有价值的信息,当前仅通过监测环境声进行目标定位的方法鲁棒性较低,为解决这一问题提出了跨级特征知识转移下的多模态自监督目标检测网络。首先,针对教师网络和学生网络同级特征间学习能力有限的问题,设计了基于注意力融合的多教师跨级特征知识转移损失,通过注意力融合的方式融合学生的深层和浅层特征,更高效地学习对应的教师中间层特征,以提取更多的知识,同时结合KL散度,实现教师和学生网络中间层特征的对齐。此外,为了解决定位信息的缺失的问题,加入定位蒸馏损失,通过让学生的包围盒分布去拟合教师的包围盒分布的方式,来获取更多的定位信息。在多模态视听检测MAVD数据集中对网络进行训练,该网络的mAP值在IOU值为0.5,0.75和平均的情况下较基线网络分别有6.71%,14.36%和10.32%的提升。实验结果证明了该检测网络的优越性。 展开更多
关键词 多模态 知识蒸馏 目标检测 自监督 深度学习
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部