风电、光伏(photovoltaics,PV)在新型电力系统中的渗透率日益增加,使得配电网电压波动加剧,而储能(energy storage,ES)、电动汽车(electric vehicles,EV)对降低配电网电压波动有重要作用。与此同时,智能电表、智能传感器以及改进的通信...风电、光伏(photovoltaics,PV)在新型电力系统中的渗透率日益增加,使得配电网电压波动加剧,而储能(energy storage,ES)、电动汽车(electric vehicles,EV)对降低配电网电压波动有重要作用。与此同时,智能电表、智能传感器以及改进的通信网络广泛部署,可获取的数据量越来越大,数据驱动技术兴起。提出了一种基于多智能体深度强化学习(multi-agent deep reinforcement learning,MADRL)的配电网双时间尺度有功-无功功率协调的电压控制策略。慢时间尺度下用双深度Q网络算法(double deep Q-network algorithm,DDQN)求解电容器组(capacitor banks,CBs)、有载调压变压器(on-line tap changer,OLTC)与ES有功-无功功率优化问题。快时间尺度下用具有注意力机制的经验增强多智能体柔性参与者-评论家算法(experience augmentation-multi-agent soft actor critic,EA-MASAC)调节PV、风机(wind turbine,WT)、静止无功补偿装置(static var compensator,SVC)的无功功率与EV的有功功率。最后,在IEEE-33节点系统上验证了所提方法的有效性。展开更多
针对传统固定发射策略的主动声呐在水声信道中面临环境适配性不足,导致探测稳定性差的问题,本文提出一种基于多智能体强化学习的主动声呐发射波形与声源级的联合优化方法。采用多智能体协作学习方法,将发射波形优化与声源级优化解耦为...针对传统固定发射策略的主动声呐在水声信道中面临环境适配性不足,导致探测稳定性差的问题,本文提出一种基于多智能体强化学习的主动声呐发射波形与声源级的联合优化方法。采用多智能体协作学习方法,将发射波形优化与声源级优化解耦为多个智能体任务。引入奖励塑形方法,抑制多峰信道频谱引起的奖励信号噪声,提升智能体寻优能力,并避免子脉冲频点冲突。此外,使用双深度Q网络-Network(double deep q-network,DDQN),降低智能体Q值估计偏差并提升决策稳定性。在基于南海实测声速梯度重构的典型深海信道场景下进行了数值验证,结果表明:经所提算法优化后的信道适配度与回波信噪比调控准确性均优于对比算法,为构建具备环境自适应能力的智能主动声呐系统提供了一种可行的技术途径。展开更多
文摘风电、光伏(photovoltaics,PV)在新型电力系统中的渗透率日益增加,使得配电网电压波动加剧,而储能(energy storage,ES)、电动汽车(electric vehicles,EV)对降低配电网电压波动有重要作用。与此同时,智能电表、智能传感器以及改进的通信网络广泛部署,可获取的数据量越来越大,数据驱动技术兴起。提出了一种基于多智能体深度强化学习(multi-agent deep reinforcement learning,MADRL)的配电网双时间尺度有功-无功功率协调的电压控制策略。慢时间尺度下用双深度Q网络算法(double deep Q-network algorithm,DDQN)求解电容器组(capacitor banks,CBs)、有载调压变压器(on-line tap changer,OLTC)与ES有功-无功功率优化问题。快时间尺度下用具有注意力机制的经验增强多智能体柔性参与者-评论家算法(experience augmentation-multi-agent soft actor critic,EA-MASAC)调节PV、风机(wind turbine,WT)、静止无功补偿装置(static var compensator,SVC)的无功功率与EV的有功功率。最后,在IEEE-33节点系统上验证了所提方法的有效性。
文摘针对传统固定发射策略的主动声呐在水声信道中面临环境适配性不足,导致探测稳定性差的问题,本文提出一种基于多智能体强化学习的主动声呐发射波形与声源级的联合优化方法。采用多智能体协作学习方法,将发射波形优化与声源级优化解耦为多个智能体任务。引入奖励塑形方法,抑制多峰信道频谱引起的奖励信号噪声,提升智能体寻优能力,并避免子脉冲频点冲突。此外,使用双深度Q网络-Network(double deep q-network,DDQN),降低智能体Q值估计偏差并提升决策稳定性。在基于南海实测声速梯度重构的典型深海信道场景下进行了数值验证,结果表明:经所提算法优化后的信道适配度与回波信噪比调控准确性均优于对比算法,为构建具备环境自适应能力的智能主动声呐系统提供了一种可行的技术途径。
