基于PointPillars的多模态融合三维目标检测方法

1

作者 王睿智 张虹 《现代信息科技》 2025年第5期56-61,共6页

点云数据的稀疏性和无序性会导致相关检测算法在远小目标检测中容易出现漏检和误检的问题。因此,文章基于PointPillars算法提出了一种多模态融合的三维目标检测算法。该算法设计了一种多模态特征融合柱体化编码模块,能够融合点云特征和... 点云数据的稀疏性和无序性会导致相关检测算法在远小目标检测中容易出现漏检和误检的问题。因此,文章基于PointPillars算法提出了一种多模态融合的三维目标检测算法。该算法设计了一种多模态特征融合柱体化编码模块,能够融合点云特征和图像特征,从而增强特征的语义信息,提高远小目标的检测精度。在KITTI数据集上的实验结果显示,与基线模型相比,汽车、行人和骑行者类别的三维平均检测精度分别提高了3.28%、2.88%和1.62%。结果表明,所提出的基于PointPillars的多模态融合三维目标检测方法能够有效减少远小目标的误检和漏检。 展开更多

关键词 多模态融合 三维目标检测 柱体化编码 PointPillars

在线阅读 下载PDF 职称材料

基于GCR-PointPillars的点云三维目标检测 被引量：1

2

作者 伍新月 惠飞 金鑫 《现代电子技术》 北大核心 2024年第11期168-174,共7页

针对PointPillars算法中存在识别与定位不准确的问题,提出一种GCR-PointPillars三维目标检测模型,该模型首先在Pillar特征网络中引入全局注意力机制,学习点云特征之间的相关性,增强伪图特征的全局信息交互能力;其次,基于ConvNeXt V2重... 针对PointPillars算法中存在识别与定位不准确的问题,提出一种GCR-PointPillars三维目标检测模型,该模型首先在Pillar特征网络中引入全局注意力机制,学习点云特征之间的相关性,增强伪图特征的全局信息交互能力;其次,基于ConvNeXt V2重新构建特征提取网络,提取更加丰富的语义信息,从而有效提升网络的学习能力;最后引入RDIoU来联合引导分类和回归任务,有效缓解分类和回归不一致的问题。文中模型在KITTI数据集中与基准网络相比,汽车类别在简单、中等、困难三种难度级别下分别提高了2.69%、4.29%、4.84%,并且推理速度达到25.8 f/s。实验结果表明,文中模型在保持实时性速度的同时,检测效果也有明显提升。 展开更多

关键词 三维目标检测 注意力机制 ConvNeXt V2 损失函数 激光雷达点云 自动驾驶

在线阅读 下载PDF 职称材料

结合视锥变换和RGB体素图的半监督三维目标检测

3

作者 汪岩 袁甜甜 +1 位作者 胡彬 李尧 《红外与激光工程》 EI CSCD 北大核心 2024年第8期250-261,共12页

基于LiDAR、可见光等多模态传感器的高精度三维目标检测是自动驾驶领域的关键技术。为了提高目标检测的精度和方位感知能力,降低模型对于标注数据的依赖,结合视锥变换方法优化了三维点云方向特征提取策略,提出了一种基于视锥变换和半监... 基于LiDAR、可见光等多模态传感器的高精度三维目标检测是自动驾驶领域的关键技术。为了提高目标检测的精度和方位感知能力,降低模型对于标注数据的依赖,结合视锥变换方法优化了三维点云方向特征提取策略,提出了一种基于视锥变换和半监督学习架构的三维目标检测技术。具体而言,基于通道注意力模块优化视锥体对远距离目标的感知能力,提出了RGB体素模块提升遮挡目标的识别精度。首先通过深度网络从RGB图像中提取纹理信息,将其与激光雷达的距离信息融合,以保持三维空间特征的完整性。其次,通过特征融合模块提取体素空间特征的权重。最后,采用自适应伪标签方法降低对标注样本的依赖,并基于群体投票方法进一步降低误报率。实验结果表明,该方法在KITTI数据集上取得了令人满意的成果,行人和车辆目标检测的准确率分别达到了56.30%和75.88%。该研究为未来在复杂的场景中实现高效的三维目标检测提供了思路,并为进一步优化自动驾驶的多模态数据融合技术奠定了基础。 展开更多

关键词 三维目标检测 RGB体素特征 视锥变换 半监督学习 KITTI数据集

在线阅读 下载PDF 职称材料

基于改进PointPillars的激光点云三维目标检测

4

作者 王家琦 吴叶兰 +1 位作者 郝凤桐 张峻景 《信息技术与信息化》 2024年第2期58-61,共4页

针对复杂场景下三维目标检测算法对小目标物体识别精度不高、容易出现错检漏检问题,提出一种基于改进PointPillars的三维目标检测算法,利用锥形点云获取物体的边界信息,抑制环境噪声造成的干扰;设计一种空间自注意力模块,捕获点云支柱... 针对复杂场景下三维目标检测算法对小目标物体识别精度不高、容易出现错检漏检问题,提出一种基于改进PointPillars的三维目标检测算法,利用锥形点云获取物体的边界信息,抑制环境噪声造成的干扰;设计一种空间自注意力模块,捕获点云支柱间的全局上下文信息和空间信息,扩大点云特征感知范围,提升小目标物体识别在复杂场景下的鲁棒性;改进主干网络的下采样模块,采用ConvNeXt v2模块增强网络的特征提取能力。在KITTI数据集上的测试结果表明,相比PointPillars原始网络,改进算法在汽车、行人、骑行者类别上的平均检测精度分别提升了3.73%、5.89%、5.7%,证明了所提出方法的有效性。 展开更多

关键词 三维目标检测 PointPillars 注意力机制 点云支柱 ConvNeXt v2

在线阅读 下载PDF 职称材料

融合点云增强的多传感器三维目标检测方法

5

作者 王昕灿 郭志阳 +1 位作者 赫钰涛 张迁 《火力与指挥控制》 CSCD 北大核心 2024年第6期122-127,134,共7页

三维目标检测是自动驾驶环境感知中不可缺少的功能模块。相机传感器丰富的图像纹理信息可以弥补激光雷达点云的稀疏问题,提出一种即插即用的RI-Fusion模块实现激光雷达与相机的有效融合。通过球面坐标变换将点云转换为紧凑的范围视图表... 三维目标检测是自动驾驶环境感知中不可缺少的功能模块。相机传感器丰富的图像纹理信息可以弥补激光雷达点云的稀疏问题,提出一种即插即用的RI-Fusion模块实现激光雷达与相机的有效融合。通过球面坐标变换将点云转换为紧凑的范围视图表示,基于注意力机制将距离图像与相应的相机图像进行集成,将原始距离图像与融合特征相连接以保留点云的信息,并将融合结果投影到空间点云中。特征增强后的点云可以输入到基于激光雷达的三维目标检测器中。在KITTI三维目标检测基准上进行实验,结果表明,提出的融合方法能够显著增强多个基于激光雷达的三维目标检测器,且针对行人与骑行者等小目标可以获得更高的检测精度。 展开更多

关键词 三维目标检测 多传感器 融合 点云

在线阅读 下载PDF 职称材料

基于全局注意力机制的Robust-PointPillars三维目标检测

6

作者 王盈丰 吴俭 +2 位作者 宋佳 柯涛 付伟 《舰船电子对抗》 2024年第2期86-92,共7页

提出了一种基于全局注意力机制的Robust-PointPillars三维目标检测方法,在智能驾驶的应用中,提高了目标检测的精度和鲁棒性。PointPillars等神经网络通过使用点云柱表示点云,具有实现三维目标检测的潜力。首先介绍了空间和通道双重注意... 提出了一种基于全局注意力机制的Robust-PointPillars三维目标检测方法,在智能驾驶的应用中,提高了目标检测的精度和鲁棒性。PointPillars等神经网络通过使用点云柱表示点云,具有实现三维目标检测的潜力。首先介绍了空间和通道双重注意力模块,以增强有学习价值的点云特征,解决了PointPillars缺乏点云柱内部学习机制和特征提取不足的问题;挤压与激励网络(SENet)模块的引入,使PointPillars对特征信息的学习理解能力得到进一步提高;最终,对受到干扰或缺失的传感器信号进行抑制,并利用全局注意力算法来提高鲁棒性。基于KITTI数据集上的目标检测结果,本文算法具有良好的目标检测精度和鲁棒性。 展开更多

关键词 三维目标检测 PointPillars 全局注意力机制 挤压与激励网络模块

在线阅读 下载PDF 职称材料

基于原始点云网格自注意力机制的三维目标检测方法 被引量：3

7

作者 鲁斌 孙洋 杨振宇 《通信学报》 EI CSCD 北大核心 2023年第10期72-84,共13页

为了增强感兴趣区域(RoI)的特征表达,包括空间网格特征编码模块和软回归损失,提出了一种基于原始点云网格自注意力机制的三维目标检测方法GT3D。网格特征编码模块用于通过自注意力机制对点的局部特征和空间特征进行有效加权,充分考虑点... 为了增强感兴趣区域(RoI)的特征表达,包括空间网格特征编码模块和软回归损失,提出了一种基于原始点云网格自注意力机制的三维目标检测方法GT3D。网格特征编码模块用于通过自注意力机制对点的局部特征和空间特征进行有效加权,充分考虑点云之间的几何关系,以提供更准确的特征表达;软回归损失用于改善数据标注过程中由于标注不准确而产生的回归歧义问题。将所提方法在公开的三维目标检测数据集KITTI上进行实验。结果表明,所提方法相比其他已公开的基于点云的三维目标检测方法检测准确率提升明显,并提交了KITTI官方测试集进行公开测试,对简单、中等和困难3个难度等级的汽车检测准确率分别达到91.45%、82.76%和79.74%。 展开更多

关键词 三维目标检测 点云 自注意力机制 空间坐标编码 软回归损失

在线阅读 下载PDF 职称材料

体素化点云场景下的三维目标检测 被引量：5

8

作者 李瑞龙 吴川 朱明 《液晶与显示》 CAS CSCD 北大核心 2022年第10期1355-1363,共9页

基于激光雷达点云数据的三维目标检测算法受制于数据量大,无法实现速度与准确率的平衡。本文提出一种改进的三维目标检测算法Pillar RCNN。首先将目标点云空间划分为体素格,使用一种基于稀疏卷积的三维主干网络将体素格逐步转化为立柱体... 基于激光雷达点云数据的三维目标检测算法受制于数据量大,无法实现速度与准确率的平衡。本文提出一种改进的三维目标检测算法Pillar RCNN。首先将目标点云空间划分为体素格,使用一种基于稀疏卷积的三维主干网络将体素格逐步转化为立柱体素,三维信息量化为致密的二维信息。然后使用二维主干网络提取特征,同时将三维骨干网络中不同尺度的体素特征与二维主干网络通过多尺度体素特征聚合模块进行特征级联,通过损失函数进一步细化检测框。算法在KITTI公开数据集上进行测试,在RTX 2080Ti硬件平台上识别速度为2.48 ms。汽车、行人、自行车3种类别的检测效果同PointPillars基准算法相比较,其中自行车中等难度检测效果提升13.34%,困难难度的车检测效果提升8.85%,其他类别的检测准确率指标也有所提升,实现了速度与准确率的平衡。 展开更多

关键词 计算机视觉 三维目标检测 体素 稀疏卷积 特征聚合

在线阅读 下载PDF 职称材料

采用稀疏3D卷积的单阶段点云三维目标检测方法 被引量：5

9

作者 李悄 李垚辰 +3 位作者 张玉龙 唐文能 曹鲁光 左良玉 《西安交通大学学报》 EI CAS CSCD 北大核心 2022年第9期112-122,共11页

针对点云体素化的三维目标检测方法中点云的特征提取能力不足的问题,将三维目标检测方法SECOND作为基准网络,提出一种采用稀疏3D卷积的单阶段点云三维目标检测(Reinforced SECOND)方法。首先,改进点云分组方式形成鲁棒的抽离体素特征的... 针对点云体素化的三维目标检测方法中点云的特征提取能力不足的问题,将三维目标检测方法SECOND作为基准网络,提出一种采用稀疏3D卷积的单阶段点云三维目标检测(Reinforced SECOND)方法。首先,改进点云分组方式形成鲁棒的抽离体素特征的体素特征编码网络;其次,为增强体素中对检测任务有显著贡献的关键特征,同时抑制不相关噪声特征,把堆叠三重注意力机制引入体素特征编码网络;然后,提出残差稀疏卷积单元,设计了残差稀疏卷积中间网络,提高了该网络层的特征提取能力,保留了更多的原始特征信息;最后,把提出的空间语义特征融合(SSFF)模块引入区域建议网络,自适应地融合低级空间特征和高级抽象语义特征,进一步提高了模型特征的表达能力。在KITTI开源数据集上的实验结果表明:与之前许多基于网格及基于点的方法相比,所提方法显著提高了三维目标检测性能;与基准网络相比,采用所提方法对KITTI测试集car类和cyclist类进行检测,中等难度级别下的3D检测精度分别提高了5.85%和8.9%,困难难度级别下的3D检测精度分别提高了8.54%和8.53%。 展开更多

关键词 三维目标检测 稀疏3D卷积 注意力机制 点云体素化

在线阅读 下载PDF 职称材料

基于级联YOLOv7的自动驾驶三维目标检测 被引量：4

10

作者 赵东宇 赵树恩 《汽车工程》 EI CSCD 北大核心 2023年第7期1112-1122,共11页

针对图像和原始点云三维目标检测方法中存在特征信息残缺及点云搜索量过大的问题,以截体点网(frustum PointNet, F-PointNet)结构为基础,融合自动驾驶周围场景RGB图像信息与点云信息,提出一种基于级联YOLOv7的三维目标检测算法。首先构... 针对图像和原始点云三维目标检测方法中存在特征信息残缺及点云搜索量过大的问题,以截体点网(frustum PointNet, F-PointNet)结构为基础,融合自动驾驶周围场景RGB图像信息与点云信息,提出一种基于级联YOLOv7的三维目标检测算法。首先构建基于YOLOv7的截体估计模型,将RGB图像目标感兴趣区域(region of interest, RoI)纵向扩展到三维空间,然后采用PointNet++对截体内目标点云与背景点云进行分割。最终利用非模态边界估计网络输出目标长宽高、航向等信息,对目标间的自然位置关系进行解释。在KITTI公开数据集上测试结果与消融实验表明,级联YOLOv7模型相较基准网络,推理耗时缩短40 ms/帧,对于在遮挡程度为中等、困难级别的目标检测平均精度值提升了8.77%、9.81%。 展开更多

关键词 三维目标检测 YOLOv7 F-PointNet 多传感器信息融合 自动驾驶

在线阅读 下载PDF 职称材料

高定位精度的毫米波全息图像三维目标检测 被引量：1

11

作者 李怀乾 杨明辉 吴亮 《红外与毫米波学报》 SCIE EI CAS CSCD 北大核心 2021年第6期870-877,共8页

投影角度不同导致目标的形状及尺寸变化限制了基于主动式毫米波(AMMW)全息图像投影视图的隐匿物品二维检测方法对小目标检测性能的提升,为此,提出了基于点云的隐匿物品三维检测方法。通过阈值化处理将AMMW全息图像转换为点云输入经空洞... 投影角度不同导致目标的形状及尺寸变化限制了基于主动式毫米波(AMMW)全息图像投影视图的隐匿物品二维检测方法对小目标检测性能的提升,为此,提出了基于点云的隐匿物品三维检测方法。通过阈值化处理将AMMW全息图像转换为点云输入经空洞卷积及多分支结构改进的SECOND三维目标检测器,提取对目标的三维几何理解及其多尺度上下文信息以提高对小目标的检测能力。实验结果表明,较基于投影的二维检测方法,该方法平均召回率(AR)提升了3.33%,有效提升了定位精度;在交并比(IOU)阈值为0.5时的检出率提升了8.75%,虚警率降低了1.78%,平均精度(AP)提升了7.11%,不同IOU阈值下的平均AP提升了4.30%,有效提升了检测精度;检测速度为17.3 FPS,达实时水平。 展开更多

关键词 信息科学与系统科学 三维目标检测 空洞卷积 小目标 主动式毫米波全息图像

在线阅读 下载PDF 职称材料

基于双目视觉的三维目标检测算法研究 被引量：4

12

作者 王一强 陶洋 《微电子学与计算机》 2022年第2期19-25,共7页

随着无人驾驶技术的革新与发展,三维目标检测技术进入了大众的视野,相比于传统的基于激光雷达和基于单目的三维目标检测算法,基于双目视觉的检测技术具有更高的性价比,但是其检测效果仍待提高.因此,本文提出一种基于改进立体区域卷积神... 随着无人驾驶技术的革新与发展,三维目标检测技术进入了大众的视野,相比于传统的基于激光雷达和基于单目的三维目标检测算法,基于双目视觉的检测技术具有更高的性价比,但是其检测效果仍待提高.因此,本文提出一种基于改进立体区域卷积神经网络(Stereo Region Convolutional Neural Network,Stereo RCNN)算法的F R-CNN三维目标检测算法.本文所提算法通过在Stereo R-CNN算法的特征提取网络中加入频域通道注意力模块(Frequency Channel Attention Network,FcaNet),使模型从特征多样性的角度出发关注更多与目标相关的语义信息,减轻深层残差网络权重变化所带来的影响,提升网络的特征提取能力.与此同时,引入统一动态样本加权策略,在进行训练时合理分配多任务间的损失权重,在关注“困难”样本重要程度的同时考虑“简单”样本的贡献度,提取目标更为全面的关键特征信息.实验结果表明,改进后的F R-CNN三维目标检测算法较Stereo R-CNN算法在三维目标定位平均精度上提升了3%,在三维目标检测平均精度上提升了约2%. 展开更多

关键词 三维目标检测 区域卷积神经网络 统一动态样本加权

在线阅读 下载PDF 职称材料

基于雷达点云与图像数据的三维目标检测方法 被引量：7

13

作者 李文平 袁强 +2 位作者 陈璐 郑利彪 汤晓龙 《电光与控制》 CSCD 北大核心 2021年第10期110-115,共6页

在智能交通领域中,道路场景的三维目标实时检测对于保障汽车行驶安全具有重要意义。使用雷达点云和图像数据进行融合能够达到优势互补的效果,然而使用这两种数据融合的三维目标检测算法为得到较高的检测精度,通常都采用两阶段网络,相比... 在智能交通领域中,道路场景的三维目标实时检测对于保障汽车行驶安全具有重要意义。使用雷达点云和图像数据进行融合能够达到优势互补的效果,然而使用这两种数据融合的三维目标检测算法为得到较高的检测精度,通常都采用两阶段网络,相比于单阶段网络运算速度较慢,而在实际应用中检测系统的速度是非常重要的。针对以上问题,在单阶段网络RetinaNet上进行改进,设计了一种三维目标实时检测方法,将三维锚框映射到点云和图像的特征图上,利用ROI池化,将锚框在特征图上裁剪出的区域转换成相同大小并融合,最终输出目标边界框的回归参数和类别,并且对锚框进行调整得到目标预测边界框。在KITTI数据集上进行的实验表明,所研究的网络在行人、车辆等多目标检测的精确度和时间消耗方面均优于对比算法。 展开更多

关键词 三维目标检测 多传感器信息融合 深度学习 改进RetinaNet 聚焦损失函数

在线阅读 下载PDF 职称材料

基于上下文信息和大语言模型的开放词汇室内三维目标检测

14

作者 张胜 程俊 《集成技术》 2025年第3期51-63,共13页

现有室内三维目标检测算法能检测的目标类别通常有限,这限制其在智能机器人领域的应用。开放词汇目标检测能在不定义目标类别的前提下检测给定场景的所有感兴趣目标,从而解决室内三维目标检测的不足。与此同时,大语言模型的先验知识能... 现有室内三维目标检测算法能检测的目标类别通常有限,这限制其在智能机器人领域的应用。开放词汇目标检测能在不定义目标类别的前提下检测给定场景的所有感兴趣目标,从而解决室内三维目标检测的不足。与此同时,大语言模型的先验知识能显著提升视觉任务的性能。然而现有的开放词汇室内三维目标检测研究存在仅关注目标信息,而忽视了上下文信息的问题。室内三维目标检测的输入数据主要是点云,存在稀疏和噪声问题。仅依赖目标点云信息会对三维目标检测结果产生负面影响。上下文信息包含场景描述,能对目标信息进行补充,从而提升目标检测中类别判定的准确率。为此,本文提出了基于上下文信息和大语言模型的开放词汇室内三维目标检测算法,该算法通过结合上下文信息和大语言模型的思维链推理获取检测结果。此外,该算法在SUN RGB-D和ScanNetV2数据集上进行了验证,实验结果表明了其有效性。 展开更多

关键词 大语言模型 室内三维目标检测 开放词汇 上下文信息 思维链

在线阅读 下载PDF 职称材料

基于双目视觉的三维车辆检测算法

15

作者 陶洋 汤新玲 《微电子学与计算机》 2024年第5期40-48,共9页

在自动驾驶中,车辆的三维目标检测是一项重要的场景理解任务。相比于昂贵的雷达设备,借助双目设备的三维目标检测方法有成本低定位准确的特点。基于立体区域卷积神经网络(Stereo RCNN)提出了一种用于双目视觉的三维目标检测OC-3DNet算法... 在自动驾驶中,车辆的三维目标检测是一项重要的场景理解任务。相比于昂贵的雷达设备,借助双目设备的三维目标检测方法有成本低定位准确的特点。基于立体区域卷积神经网络(Stereo RCNN)提出了一种用于双目视觉的三维目标检测OC-3DNet算法,有效地提高了检测精度。针对特征提取高分辨率与感受野的矛盾,结合特征提取网络与注意力引导特征金字塔(AC-FPN),有效地提高了算法对小目标的检测精度。针对三维中心投影检测误差大的问题,建立了一种新的三维中心投影与二维中心的约束关系,进一步提升了三维目标检测的精度。实验结果表明,改进后的OC-3DNet算法在以0.7为阈值的三维目标检测上平均精度为43%,较Stereo R-CNN三维目标检测的平均精度提升了约3%。 展开更多

关键词 双目视觉 三维目标检测 AC-FPN 三维中心点预测

在线阅读 下载PDF 职称材料

基于RGB图像的坦克损伤目标三维检测研究与应用 被引量：2

16

作者 朱家辉 苏维均 +1 位作者 于重重 黄俊卿 《火力与指挥控制》 CSCD 北大核心 2022年第4期169-175,共7页

现代战争中,坦克在攻坚战中的地位越来越重要,检测坦克的损伤对于取得战场主动权乃至获取战争的胜利起着决定性作用,所以对实时性要求非常高。采用易获取的RGB图像,以坦克装甲车为研究目标,选用Complex-YOLO为基础三维目标检测模型,针... 现代战争中,坦克在攻坚战中的地位越来越重要,检测坦克的损伤对于取得战场主动权乃至获取战争的胜利起着决定性作用,所以对实时性要求非常高。采用易获取的RGB图像,以坦克装甲车为研究目标,选用Complex-YOLO为基础三维目标检测模型,针对复杂战场环境中图像内容复杂、弹孔损伤目标小、没有三维CAD模型等问题,对Complex-YOLO模型进行改进,通过使用识别精度高且速度快的YOLOV3网络及九点法回归三维目标检测框的方法,提高模型性能。在坦克数据集上的实验结果表明,改进后的算法对于复杂战场环境下的多目标检测具有更强的敏感性,较大程度上增强了模型的检测识别精度。 展开更多

关键词 坦克装甲目标 弹孔小目标 三维目标检测 Complex-YOLO 算法 YOLOV3 算法

在线阅读 下载PDF 职称材料

基于智能网联汽车的目标识别融合算法研究

17

作者 程岩 《时代汽车》 2025年第3期28-31,共4页

本文集中探讨了智能网联汽车中目标识别的关键技术,特别是通过双目视觉与Faster R-CNN相结合进行三维目标检测的方法。首先,文章详细分析了Faster R-CNN的工作机制及其网络架构,包括特征提取、区域候选生成以及分类与回归检测等多个部分... 本文集中探讨了智能网联汽车中目标识别的关键技术,特别是通过双目视觉与Faster R-CNN相结合进行三维目标检测的方法。首先,文章详细分析了Faster R-CNN的工作机制及其网络架构,包括特征提取、区域候选生成以及分类与回归检测等多个部分,并深入讲解了其在训练过程中的机制及所采用的损失函数。接下来,为了克服现有双目视觉方法的局限性,提出了一个创新性的三维目标检测系统——CPNet,该系统将双目视觉与Faster R-CNN技术融合。通过使用ResNet替换VGG16网络,构建能够有效捕捉远距离小型目标的多层次特征提取网络。同时,在区域推荐与参数回归阶段,通过优化锚点的数量、调整网络结构及改进损失函数,实现了对目标朝向角度、物理尺寸和空间坐标的精确预测。此外,引入了一种基于光照校正的三维目标框调整算法,利用原图的高分辨率信息进一步优化了目标的空间坐标。通过在KITTI公开数据集及自定义数据集上的实证研究,结果表明,CPNet在二维目标检测精度上相较于传统的Faster R-CNN有显著提升,最高认知提高了27.68%。在不同难度等级下,系统在AP3D和AOS指标上的表现均十分出色,且整体运行速度仅需0.2秒。本地实验进一步证实了CPNet的鲁棒性和有效性,但同时也指出存在一定程度的误报和漏报问题,这将是未来工作需要着重解决的挑战。 展开更多

关键词 智能网联汽车 三维目标检测 Faster R-CNN

在线阅读 下载PDF 职称材料

基于体素化图卷积网络的三维点云目标检测方法 被引量：9

18

作者 赵毅强 艾西丁·艾克白尔 +2 位作者 陈瑞 周意遥 张琦 《红外与激光工程》 EI CSCD 北大核心 2021年第10期273-281,共9页

针对激光雷达点云的稀疏性和空间离散分布的特点,通过结合体素划分和图表示方法设计了新的图卷积特征提取模块,提出一种基于体素化图卷积神经网络的激光雷达三维点云目标检测算法。该方法通过消除传统3D卷积神经网络的计算冗余性,不仅... 针对激光雷达点云的稀疏性和空间离散分布的特点,通过结合体素划分和图表示方法设计了新的图卷积特征提取模块,提出一种基于体素化图卷积神经网络的激光雷达三维点云目标检测算法。该方法通过消除传统3D卷积神经网络的计算冗余性,不仅提升了网络的目标检测能力,并且提高了点云拓扑信息的分析能力。文中设计的方法在KITTI公开数据集的车辆、行人、骑行者的3D目标检测和鸟瞰图目标检测任务的检测性能相比基准网络均有了有效提升,尤其在车辆3D目标检测任务上最高提升了13.75%。实验表明:该方法采用图卷积特征提取模块有效提高了网络整体检测性能和数据拓扑关系的学习能力,为三维点云目标检测任务提供了新的方法。 展开更多

关键词 图卷积神经网络 激光雷达 三维点云目标检测 拓扑信息 KITTI数据集

在线阅读 下载PDF 职称材料

基于实例分割的目标三维位置估计方法 被引量：2

19

作者 刘长吉 郝志成 +2 位作者 杨锦程 朱明 聂海涛 《液晶与显示》 CAS CSCD 北大核心 2021年第11期1535-1544,共10页

三维目标检测在实际工程应用中的难点在于深度传感器价格高、点云质量差、缺少丰富的纹理信息、三维数据训练集制作困难。对此本文提出一种基于实例分割的三维目标位置估计方法,可以用在多种传感器中,如相机-雷达,双目相机等。首先在二... 三维目标检测在实际工程应用中的难点在于深度传感器价格高、点云质量差、缺少丰富的纹理信息、三维数据训练集制作困难。对此本文提出一种基于实例分割的三维目标位置估计方法,可以用在多种传感器中,如相机-雷达,双目相机等。首先在二维图像下对目标进行实例分割,根据目标的分割掩码提取出目标的深度图像与RGB图像融合转化为粗略点云,最终进行异常噪声点去除,得到精细的目标点云。在KITTI数据集上进行了测试,平均精度值(AP)可以达到50%,表明该方法可以准确地估计到目标位置信息。本文提出的方法无需三维数据训练集,可以快速准确地进行三维物体点云的提取,仅使用二维检测器就可以达到三维物体检测的目的。 展开更多

关键词 点云分割 三维目标检测 实例分割 异常检测 位置估计 深度学习

在线阅读 下载PDF 职称材料

基于双融合框架的多模态3D目标检测算法 被引量：4

20

作者 葛同澳 李辉 +2 位作者 郭颖 王俊印 周迪 《电子学报》 EI CAS CSCD 北大核心 2023年第11期3100-3110,共11页

相机和激光雷达多模态融合的3D目标检测可以综合利用两种传感器的优点,提高目标检测的准确度和鲁棒性.然而,由于环境复杂性以及多模态数据间固有的差异性,3D目标检测仍面临着诸多挑战.本文提出了双融合框架的多模态3D目标检测算法.设计... 相机和激光雷达多模态融合的3D目标检测可以综合利用两种传感器的优点,提高目标检测的准确度和鲁棒性.然而,由于环境复杂性以及多模态数据间固有的差异性,3D目标检测仍面临着诸多挑战.本文提出了双融合框架的多模态3D目标检测算法.设计体素级和网格级的双融合框架,有效缓解融合时不同模态数据之间的语义差异;提出ABFF(Adaptive Bird-eye-view Features Fusion)模块,增强算法对小目标特征感知能力;通过体素级全局融合信息指导网格级局部融合,提出基于Transformer的多模态网格特征编码器,充分提取3D检测场景中更丰富的上下文信息,并提升算法运行效率.在KITTI标准数据集上的实验结果表明,提出的3D目标检测算法平均检测精度达78.79%,具有更好的3D目标检测性能. 展开更多

关键词 深度学习 三维目标检测 激光雷达 相机 多模态信息融合

在线阅读 下载PDF 职称材料