Acoustic source localization(ASL)and sound event detection(SED)are two widely pursued independent research fields.In recent years,in order to achieve a more complete spatial and temporal representation of sound field,...Acoustic source localization(ASL)and sound event detection(SED)are two widely pursued independent research fields.In recent years,in order to achieve a more complete spatial and temporal representation of sound field,sound event localization and detection(SELD)has become a very active research topic.This paper presents a deep learning-based multioverlapping sound event localization and detection algorithm in three-dimensional space.Log-Mel spectrum and generalized cross-correlation spectrum are joined together in channel dimension as input features.These features are classified and regressed in parallel after training by a neural network to obtain sound recognition and localization results respectively.The channel attention mechanism is also introduced in the network to selectively enhance the features containing essential information and suppress the useless features.Finally,a thourough comparison confirms the efficiency and effectiveness of the proposed SELD algorithm.Field experiments show that the proposed algorithm is robust to reverberation and environment and can achieve higher recognition and localization accuracy compared with the baseline method.展开更多
超短期电力负荷预测作为电力系统的基本组成,能为生产调度计划的制定提供重要依据。然而,电力负荷具有非线性、时变性和不确定性,充分挖掘其潜在特征并分别预测,是提升预测准确性的关键。提出一种基于自适应局部迭代滤波(adaptive local...超短期电力负荷预测作为电力系统的基本组成,能为生产调度计划的制定提供重要依据。然而,电力负荷具有非线性、时变性和不确定性,充分挖掘其潜在特征并分别预测,是提升预测准确性的关键。提出一种基于自适应局部迭代滤波(adaptive local iterative filtering,ALIF)的BiGRU-Attention-XGBoost电力负荷组合预测模型。该模型基于ALIF-SE实现将历史负荷序列分解重组为周期序列、波动序列和趋势序列;通过Attention机制对BiGRU模型进行改进,并结合XGBoost模型构建基于时变权重组合的电力负荷预测模型。实验分析表明,输入模型数据经过ALIF-SE处理后预测精度有明显提升;所提组合模型在工作日和节假日均具有较好的预测效果,预测误差大部分在5%以下;通过在不同负荷数据集下进行实验对比,验证了所提预测方法的可迁移性。实验结果证明,所提模型具有有效性、准确性和可行性。展开更多
针对当前两阶段的点云目标检测算法PointRCNN:3D object proposal generation and detection from point cloud在点云降采样阶段时间开销大以及低效性的问题,本研究基于PointRCNN网络提出RandLA-RCNN(random sampling and an effectivel...针对当前两阶段的点云目标检测算法PointRCNN:3D object proposal generation and detection from point cloud在点云降采样阶段时间开销大以及低效性的问题,本研究基于PointRCNN网络提出RandLA-RCNN(random sampling and an effectivelocal feature aggregator with region-based convolu-tional neural networks)架构。首先,利用随机采样方法在处理庞大点云数据时的高效性,对大场景点云数据进行下采样;然后,通过对输入点云的每个近邻点的空间位置编码,有效提高从每个点的邻域提取局部特征的能力,并利用基于注意力机制的池化规则聚合局部特征向量,获取全局特征;最后使用由多个局部空间编码单元和注意力池化单元叠加形成的扩展残差模块,来进一步增强每个点的全局特征,避免关键点信息丢失。实验结果表明,该检测算法在保留PointRCNN网络对3D目标的检测优势的同时,相比PointRCNN检测速度提升近两倍,达到16 f/s的推理速度。展开更多
针对点云配准过程中,下采样时容易丢失关键点、影响配准精度的问题,本文提出一种基于特征融合和网络采样的配准方法,提高了配准的精度和速度。在PointNet分类网络基础上,引入小型注意力机制,设计一种基于深度学习网络的关键点提取方法,...针对点云配准过程中,下采样时容易丢失关键点、影响配准精度的问题,本文提出一种基于特征融合和网络采样的配准方法,提高了配准的精度和速度。在PointNet分类网络基础上,引入小型注意力机制,设计一种基于深度学习网络的关键点提取方法,将局部特征和全局特征融合,得到混合特征的特征矩阵。通过深度学习实现对应矩阵求解中相关参数的自动优化,最后利用加权奇异值分解(singular value decomposition,SVD)得到变换矩阵,完成配准。在ModelNet40数据集上的实验表明,和最远点采样相比,所提算法耗时减少45.36%;而配准结果和基于特征学习的鲁棒点匹配(robust point matching using learned features,RPM-Net)相比,平移矩阵均方误差降低5.67%,旋转矩阵均方误差降低13.1%。在自制点云数据上的实验,证实了算法在真实物体上配准的有效性。展开更多
在低光环境下,人脸图像增强是许多任务的重要恢复方法。然而,现有的低光环境下人脸超分辨率方法通常依赖于低光增强和超分算法的序列建模。遗憾的是,由于优化目标之间的差异,使用这种方法来增强人脸图像很容易导致伪影或噪声。为了应对...在低光环境下,人脸图像增强是许多任务的重要恢复方法。然而,现有的低光环境下人脸超分辨率方法通常依赖于低光增强和超分算法的序列建模。遗憾的是,由于优化目标之间的差异,使用这种方法来增强人脸图像很容易导致伪影或噪声。为了应对这一挑战,本文提出了一个端到端的低光人脸图像超分辨率网络(low-light face super resolution network,LFSRNet)。该网络由浅层特征提取、深层特征提取和特征过滤上采样3个模块组成。首先浅层特征模块将输入的低光、低分辨率人脸图像映射到特征空间。随后,深度特征提取模块对其进行亮度校正并细化结构。最后,特征过滤上采样模块处理提取到的特征并重建人脸图像。此外,为了更好地重建丢失的面部细节本文还设计了一个损失函数faceMaskLoss。大量实验证明了所提模型的有效性。展开更多
基金supported by the National Natural Science Foundation of China(61877067)the Foundation of Science and Technology on Near-Surface Detection Laboratory(TCGZ2019A002,TCGZ2021C003,6142414200511)the Natural Science Basic Research Program of Shaanxi(2021JZ-19)。
文摘Acoustic source localization(ASL)and sound event detection(SED)are two widely pursued independent research fields.In recent years,in order to achieve a more complete spatial and temporal representation of sound field,sound event localization and detection(SELD)has become a very active research topic.This paper presents a deep learning-based multioverlapping sound event localization and detection algorithm in three-dimensional space.Log-Mel spectrum and generalized cross-correlation spectrum are joined together in channel dimension as input features.These features are classified and regressed in parallel after training by a neural network to obtain sound recognition and localization results respectively.The channel attention mechanism is also introduced in the network to selectively enhance the features containing essential information and suppress the useless features.Finally,a thourough comparison confirms the efficiency and effectiveness of the proposed SELD algorithm.Field experiments show that the proposed algorithm is robust to reverberation and environment and can achieve higher recognition and localization accuracy compared with the baseline method.
文摘超短期电力负荷预测作为电力系统的基本组成,能为生产调度计划的制定提供重要依据。然而,电力负荷具有非线性、时变性和不确定性,充分挖掘其潜在特征并分别预测,是提升预测准确性的关键。提出一种基于自适应局部迭代滤波(adaptive local iterative filtering,ALIF)的BiGRU-Attention-XGBoost电力负荷组合预测模型。该模型基于ALIF-SE实现将历史负荷序列分解重组为周期序列、波动序列和趋势序列;通过Attention机制对BiGRU模型进行改进,并结合XGBoost模型构建基于时变权重组合的电力负荷预测模型。实验分析表明,输入模型数据经过ALIF-SE处理后预测精度有明显提升;所提组合模型在工作日和节假日均具有较好的预测效果,预测误差大部分在5%以下;通过在不同负荷数据集下进行实验对比,验证了所提预测方法的可迁移性。实验结果证明,所提模型具有有效性、准确性和可行性。
文摘针对当前两阶段的点云目标检测算法PointRCNN:3D object proposal generation and detection from point cloud在点云降采样阶段时间开销大以及低效性的问题,本研究基于PointRCNN网络提出RandLA-RCNN(random sampling and an effectivelocal feature aggregator with region-based convolu-tional neural networks)架构。首先,利用随机采样方法在处理庞大点云数据时的高效性,对大场景点云数据进行下采样;然后,通过对输入点云的每个近邻点的空间位置编码,有效提高从每个点的邻域提取局部特征的能力,并利用基于注意力机制的池化规则聚合局部特征向量,获取全局特征;最后使用由多个局部空间编码单元和注意力池化单元叠加形成的扩展残差模块,来进一步增强每个点的全局特征,避免关键点信息丢失。实验结果表明,该检测算法在保留PointRCNN网络对3D目标的检测优势的同时,相比PointRCNN检测速度提升近两倍,达到16 f/s的推理速度。
文摘针对点云配准过程中,下采样时容易丢失关键点、影响配准精度的问题,本文提出一种基于特征融合和网络采样的配准方法,提高了配准的精度和速度。在PointNet分类网络基础上,引入小型注意力机制,设计一种基于深度学习网络的关键点提取方法,将局部特征和全局特征融合,得到混合特征的特征矩阵。通过深度学习实现对应矩阵求解中相关参数的自动优化,最后利用加权奇异值分解(singular value decomposition,SVD)得到变换矩阵,完成配准。在ModelNet40数据集上的实验表明,和最远点采样相比,所提算法耗时减少45.36%;而配准结果和基于特征学习的鲁棒点匹配(robust point matching using learned features,RPM-Net)相比,平移矩阵均方误差降低5.67%,旋转矩阵均方误差降低13.1%。在自制点云数据上的实验,证实了算法在真实物体上配准的有效性。
文摘点云分类与分割在机器人导航、虚拟现实以及自动驾驶领域应用广泛,大多面向点云处理的深度学习方法采用共享权重的多层感知机(MultiLayer Perceptron,MLP)以及单一的池化来聚合点云的局部特征,难以准确地描述排列复杂的点云结构信息。针对上述问题,提出一种点云形状自适应的局部特征编码方法,以有效表征形状多样的点云结构信息,提升点云分类和分割性能。该方法首先引入一种自适应特征增强模块,采用差分和可学习的调节因子对特征进行增强,弥补共享权重MLP描述能力不足的问题。在此基础上,设计了一种特征聚合模块,利用点云的绝对空间距离赋予不同点不同权重以适应形状多变的点云结构信息,突出有代表性的点集,更加准确地描述点云的局部结构信息。在3个大型公开点云数据集上进行实验,结果表明,在ModelNet40数据集上取得了93.9%的总体实例分类精度,在分割数据集ShapeNet和S3dis上分别取得了85.9%,59.7%的总体实例平均交并比(mean Intersection over Union,mIoU),本文提出的方法在点云分类和分割任务上表现优秀。
文摘在低光环境下,人脸图像增强是许多任务的重要恢复方法。然而,现有的低光环境下人脸超分辨率方法通常依赖于低光增强和超分算法的序列建模。遗憾的是,由于优化目标之间的差异,使用这种方法来增强人脸图像很容易导致伪影或噪声。为了应对这一挑战,本文提出了一个端到端的低光人脸图像超分辨率网络(low-light face super resolution network,LFSRNet)。该网络由浅层特征提取、深层特征提取和特征过滤上采样3个模块组成。首先浅层特征模块将输入的低光、低分辨率人脸图像映射到特征空间。随后,深度特征提取模块对其进行亮度校正并细化结构。最后,特征过滤上采样模块处理提取到的特征并重建人脸图像。此外,为了更好地重建丢失的面部细节本文还设计了一个损失函数faceMaskLoss。大量实验证明了所提模型的有效性。
