针对传统固定发射策略的主动声呐在水声信道中面临环境适配性不足,导致探测稳定性差的问题,本文提出一种基于多智能体强化学习的主动声呐发射波形与声源级的联合优化方法。采用多智能体协作学习方法,将发射波形优化与声源级优化解耦为...针对传统固定发射策略的主动声呐在水声信道中面临环境适配性不足,导致探测稳定性差的问题,本文提出一种基于多智能体强化学习的主动声呐发射波形与声源级的联合优化方法。采用多智能体协作学习方法,将发射波形优化与声源级优化解耦为多个智能体任务。引入奖励塑形方法,抑制多峰信道频谱引起的奖励信号噪声,提升智能体寻优能力,并避免子脉冲频点冲突。此外,使用双深度Q网络-Network(double deep q-network,DDQN),降低智能体Q值估计偏差并提升决策稳定性。在基于南海实测声速梯度重构的典型深海信道场景下进行了数值验证,结果表明:经所提算法优化后的信道适配度与回波信噪比调控准确性均优于对比算法,为构建具备环境自适应能力的智能主动声呐系统提供了一种可行的技术途径。展开更多
相比均匀线阵(Uniform Linear Array,ULA),相同阵元数目下稀疏线阵(Sparse Linear Array,SLA)的抗耦合效应更好,阵列孔径更大,到达方向(Direction of Arrival,DOA)估计的自由度(Degrees Of Freedom,DOF)更高,因而近年来得到了广泛的研...相比均匀线阵(Uniform Linear Array,ULA),相同阵元数目下稀疏线阵(Sparse Linear Array,SLA)的抗耦合效应更好,阵列孔径更大,到达方向(Direction of Arrival,DOA)估计的自由度(Degrees Of Freedom,DOF)更高,因而近年来得到了广泛的研究。为了可以进行高DOF的DOA估计,学者们开始研究SLA的差分虚拟阵元,差分虚拟阵元对应的协方差矩阵相比原阵元对应的协方差矩阵维度更大,因而估计的DOF更高。当SLA的差分虚拟阵元连续取值时,可以利用已有阵元的接收信息,得到SLA的协方差矩阵,在该矩阵的基础之上构建差分虚拟阵元的协方差矩阵进而进行DOA估计。然而,当SLA的差分虚拟阵元存在孔洞时,即差分虚拟阵元不能连续取值时,不能直接利用重构的协方差矩阵进行DOA估计,需要恢复完全增广协方差矩阵的信息再进行DOA估计。对于该问题,本文基于矢量化后原协方差矩阵和虚拟差分阵协方差矩阵的误差分布情况,并结合完全增广协方差矩阵的低秩特性和半正定特性来构建优化问题。通过求解该问题来恢复维度更高的完全增广协方差矩阵。最后对该矩阵进行奇异值分解,利用多重信号分类(Multiple Signal Classification,MUSIC)算法就可以获得多源的空间谱。本文最后通过数值仿真试验验证了所提算法可以实现高DOF的DOA估计,并且相比于现有算法,本文所提算法对欠定DOA估计的效果更好,多源DOA估计的精度更高,产生的误差更小。展开更多
文摘针对传统固定发射策略的主动声呐在水声信道中面临环境适配性不足,导致探测稳定性差的问题,本文提出一种基于多智能体强化学习的主动声呐发射波形与声源级的联合优化方法。采用多智能体协作学习方法,将发射波形优化与声源级优化解耦为多个智能体任务。引入奖励塑形方法,抑制多峰信道频谱引起的奖励信号噪声,提升智能体寻优能力,并避免子脉冲频点冲突。此外,使用双深度Q网络-Network(double deep q-network,DDQN),降低智能体Q值估计偏差并提升决策稳定性。在基于南海实测声速梯度重构的典型深海信道场景下进行了数值验证,结果表明:经所提算法优化后的信道适配度与回波信噪比调控准确性均优于对比算法,为构建具备环境自适应能力的智能主动声呐系统提供了一种可行的技术途径。
文摘相比均匀线阵(Uniform Linear Array,ULA),相同阵元数目下稀疏线阵(Sparse Linear Array,SLA)的抗耦合效应更好,阵列孔径更大,到达方向(Direction of Arrival,DOA)估计的自由度(Degrees Of Freedom,DOF)更高,因而近年来得到了广泛的研究。为了可以进行高DOF的DOA估计,学者们开始研究SLA的差分虚拟阵元,差分虚拟阵元对应的协方差矩阵相比原阵元对应的协方差矩阵维度更大,因而估计的DOF更高。当SLA的差分虚拟阵元连续取值时,可以利用已有阵元的接收信息,得到SLA的协方差矩阵,在该矩阵的基础之上构建差分虚拟阵元的协方差矩阵进而进行DOA估计。然而,当SLA的差分虚拟阵元存在孔洞时,即差分虚拟阵元不能连续取值时,不能直接利用重构的协方差矩阵进行DOA估计,需要恢复完全增广协方差矩阵的信息再进行DOA估计。对于该问题,本文基于矢量化后原协方差矩阵和虚拟差分阵协方差矩阵的误差分布情况,并结合完全增广协方差矩阵的低秩特性和半正定特性来构建优化问题。通过求解该问题来恢复维度更高的完全增广协方差矩阵。最后对该矩阵进行奇异值分解,利用多重信号分类(Multiple Signal Classification,MUSIC)算法就可以获得多源的空间谱。本文最后通过数值仿真试验验证了所提算法可以实现高DOF的DOA估计,并且相比于现有算法,本文所提算法对欠定DOA估计的效果更好,多源DOA估计的精度更高,产生的误差更小。
