深度强化学习是实现建筑能源系统(building energy system,BES)优化控制的有效方法,但其实际应用面临模型训练收敛效率低和室温约束越限的挑战。为解决这一难题,提出一种考虑虚拟储能系统(virtual energy storage system,VESS)的BES近...深度强化学习是实现建筑能源系统(building energy system,BES)优化控制的有效方法,但其实际应用面临模型训练收敛效率低和室温约束越限的挑战。为解决这一难题,提出一种考虑虚拟储能系统(virtual energy storage system,VESS)的BES近端策略优化(proximal policy optimization,PPO)控制方法。首先,基于建筑围护结构的热惰性特性,构建了建筑VESS模型,并提出了虚拟功率、虚拟容量和虚拟荷电状态3个VESS参数,用以量化热惰性提供的BES可调潜力;在此基础上,将包含VESS的BES模型转化为马尔可夫决策过程,并定义了相应的状态变量、控制动作、奖励函数和转移函数;最后,采用PPO算法对BES进行优化控制。算例结果表明,所提方法有效降低了BES运行成本和室温越限比例,同时显著提升了优化控制策略的生成速度。展开更多
文摘深度强化学习是实现建筑能源系统(building energy system,BES)优化控制的有效方法,但其实际应用面临模型训练收敛效率低和室温约束越限的挑战。为解决这一难题,提出一种考虑虚拟储能系统(virtual energy storage system,VESS)的BES近端策略优化(proximal policy optimization,PPO)控制方法。首先,基于建筑围护结构的热惰性特性,构建了建筑VESS模型,并提出了虚拟功率、虚拟容量和虚拟荷电状态3个VESS参数,用以量化热惰性提供的BES可调潜力;在此基础上,将包含VESS的BES模型转化为马尔可夫决策过程,并定义了相应的状态变量、控制动作、奖励函数和转移函数;最后,采用PPO算法对BES进行优化控制。算例结果表明,所提方法有效降低了BES运行成本和室温越限比例,同时显著提升了优化控制策略的生成速度。
