相机和激光雷达多模态融合的3D目标检测可以综合利用两种传感器的优点,提高目标检测的准确度和鲁棒性.然而,由于环境复杂性以及多模态数据间固有的差异性,3D目标检测仍面临着诸多挑战.本文提出了双融合框架的多模态3D目标检测算法.设计...相机和激光雷达多模态融合的3D目标检测可以综合利用两种传感器的优点,提高目标检测的准确度和鲁棒性.然而,由于环境复杂性以及多模态数据间固有的差异性,3D目标检测仍面临着诸多挑战.本文提出了双融合框架的多模态3D目标检测算法.设计体素级和网格级的双融合框架,有效缓解融合时不同模态数据之间的语义差异;提出ABFF(Adaptive Bird-eye-view Features Fusion)模块,增强算法对小目标特征感知能力;通过体素级全局融合信息指导网格级局部融合,提出基于Transformer的多模态网格特征编码器,充分提取3D检测场景中更丰富的上下文信息,并提升算法运行效率.在KITTI标准数据集上的实验结果表明,提出的3D目标检测算法平均检测精度达78.79%,具有更好的3D目标检测性能.展开更多
针对采用人脸图像进行情感识别的准确率低、存在个体差异性且不能满足应急处置需求的问题,文章提出了一种基于图像和生理信号的多模态特征融合情感识别方法。利用奇异值分解(singular value decomposition,SVD)方法和小波分解法分别对...针对采用人脸图像进行情感识别的准确率低、存在个体差异性且不能满足应急处置需求的问题,文章提出了一种基于图像和生理信号的多模态特征融合情感识别方法。利用奇异值分解(singular value decomposition,SVD)方法和小波分解法分别对图像信息和生理信号进行特征提取,然后采用主成分分析(principal component analysis,PCA)方法对多模态特征进行降维融合,将反向传播(back propagation,BP)神经网络作为分类器,对不同情感进行分类识别。情感诱发试验结果表明,该方法能有效提高情感识别的正确率。展开更多
文摘相机和激光雷达多模态融合的3D目标检测可以综合利用两种传感器的优点,提高目标检测的准确度和鲁棒性.然而,由于环境复杂性以及多模态数据间固有的差异性,3D目标检测仍面临着诸多挑战.本文提出了双融合框架的多模态3D目标检测算法.设计体素级和网格级的双融合框架,有效缓解融合时不同模态数据之间的语义差异;提出ABFF(Adaptive Bird-eye-view Features Fusion)模块,增强算法对小目标特征感知能力;通过体素级全局融合信息指导网格级局部融合,提出基于Transformer的多模态网格特征编码器,充分提取3D检测场景中更丰富的上下文信息,并提升算法运行效率.在KITTI标准数据集上的实验结果表明,提出的3D目标检测算法平均检测精度达78.79%,具有更好的3D目标检测性能.
