基于多模态的三维目标检测可以利用点云的几何信息和图像的语义信息。针对多模态三维目标检测中存在的边缘信息无法充分利用、异构数据融合困难、推理速度慢等问题,提出一种高效的基于边缘差分信息融合的多模态实时三维目标检测算法(mul...基于多模态的三维目标检测可以利用点云的几何信息和图像的语义信息。针对多模态三维目标检测中存在的边缘信息无法充分利用、异构数据融合困难、推理速度慢等问题,提出一种高效的基于边缘差分信息融合的多模态实时三维目标检测算法(multimodal real-time 3D object detection based on edge differential information fusion,EDMR-Net)。在融合阶段提出了一个差分特征增强融合模块,通过扩散函数利用图像的差分信息增强点云语义表达以实现异构数据的互补,使用丰富的边缘信息和特征的稳定状态精准定位小目标;利用自适应上下文感知网络对多模态特征进行自适应权重分配,进一步细化多尺度上下文信息;为了提升模型对细节信息的捕获能力,在浅层特征中引入了多尺度交叉轴向注意力机制。在KITTI数据集上进行了大量的实验结果表明,所提方法在速度和准确性上都优于主流方法,有效解决了边缘信息利用不充分和多模态推理速度慢的问题,EDMR-Net在保证简单和中等难度检测性能的前提下大大提高了困难场景的检测性能。展开更多
目前,基于BERT预训练的文本摘要模型效果良好。然而,预训练模型内部使用的自注意力机制倾向于关注文本中字与字之间的相关信息,对词信息关注度较低,并且在解码时存在语义理解不充分的情况。针对上述问题,该文提出了一种基于BERT的语义...目前,基于BERT预训练的文本摘要模型效果良好。然而,预训练模型内部使用的自注意力机制倾向于关注文本中字与字之间的相关信息,对词信息关注度较低,并且在解码时存在语义理解不充分的情况。针对上述问题,该文提出了一种基于BERT的语义增强文本摘要模型CBSUM-Aux(Convolution and BERT Based Summarization Model with Auxiliary Information)。首先,使用窗口大小不同的卷积神经网络模块提取原文中的词特征信息,并与输入的字嵌入进行特征融合,之后通过预训练模型对融合特征进行深度特征挖掘。然后,在解码输出阶段,将卷积之后的词特征信息作为解码辅助信息输入解码器中指导模型解码。最后,针对束搜索算法倾向于输出短句的问题对其进行优化。该文使用LCSTS和CSTSD数据集对模型进行验证,实验结果表明,该文模型在ROUGE指标上有明显提升,生成的摘要与原文语义更加贴合。展开更多
文摘基于多模态的三维目标检测可以利用点云的几何信息和图像的语义信息。针对多模态三维目标检测中存在的边缘信息无法充分利用、异构数据融合困难、推理速度慢等问题,提出一种高效的基于边缘差分信息融合的多模态实时三维目标检测算法(multimodal real-time 3D object detection based on edge differential information fusion,EDMR-Net)。在融合阶段提出了一个差分特征增强融合模块,通过扩散函数利用图像的差分信息增强点云语义表达以实现异构数据的互补,使用丰富的边缘信息和特征的稳定状态精准定位小目标;利用自适应上下文感知网络对多模态特征进行自适应权重分配,进一步细化多尺度上下文信息;为了提升模型对细节信息的捕获能力,在浅层特征中引入了多尺度交叉轴向注意力机制。在KITTI数据集上进行了大量的实验结果表明,所提方法在速度和准确性上都优于主流方法,有效解决了边缘信息利用不充分和多模态推理速度慢的问题,EDMR-Net在保证简单和中等难度检测性能的前提下大大提高了困难场景的检测性能。
文摘目前,基于BERT预训练的文本摘要模型效果良好。然而,预训练模型内部使用的自注意力机制倾向于关注文本中字与字之间的相关信息,对词信息关注度较低,并且在解码时存在语义理解不充分的情况。针对上述问题,该文提出了一种基于BERT的语义增强文本摘要模型CBSUM-Aux(Convolution and BERT Based Summarization Model with Auxiliary Information)。首先,使用窗口大小不同的卷积神经网络模块提取原文中的词特征信息,并与输入的字嵌入进行特征融合,之后通过预训练模型对融合特征进行深度特征挖掘。然后,在解码输出阶段,将卷积之后的词特征信息作为解码辅助信息输入解码器中指导模型解码。最后,针对束搜索算法倾向于输出短句的问题对其进行优化。该文使用LCSTS和CSTSD数据集对模型进行验证,实验结果表明,该文模型在ROUGE指标上有明显提升,生成的摘要与原文语义更加贴合。
