-
题名未知模型参数下基于Q学习的卡尔曼状态估计算法
- 1
-
-
作者
杨雯莹
栾小丽
刘飞
-
机构
江南大学自动化研究所轻工过程先进控制教育部重点实验室
-
出处
《工程科学与技术》
2025年第6期335-343,共9页
-
基金
国家自然科学基金项目(61991402,61833007,62503201)。
-
文摘
高精度的卡尔曼状态估计算法要求模型参数及噪声统计特性精确已知,否则将导致估计性能显著下降,甚至滤波发散。针对这一局限性,在模型参数及噪声统计特性未知情况下,提出一种边学习边估计的卡尔曼状态估计算法。算法采用Q学习策略迭代方法来解决模型信息未知的问题,分为策略改进和策略评估两个部分。在策略改进阶段,首先定义一个可评价状态估计值的状态动作价值函数,即Q函数,并进行公式变换,使估计值仅依赖观测值而不依赖模型参数;然后通过Q函数推导出获取系统状态估计值的估计策略。在策略评估阶段,首先利用递推最小二乘法辨识Q函数的信息矩阵;然后基于辨识到的信息矩阵,遵循求得的估计策略,执行相应动作,更新状态变量的估计值;最后将所提算法应用于估计二态多项式系统的状态与四联水箱系统的水位,以此来验证算法的有效性与可行性,并将所提算法与联合估计算法进行对比。仿真结果表明,相较于联合估计算法,当系统噪声为高斯噪声时,所提算法针对两种系统状态的平均均方根误差分别降低了34.66%与79.93%,估计精度更高,面对参数的不确定性表现出更强的鲁棒性;当系统噪声为非高斯噪声时,所提算法的估计精度与联合估计算法相近。此外,在高斯噪声、非高斯噪声二态多项式系统与四联水箱系统的实验中,算法运行时间相较于联合估计算法分别降低了44.38%、45.03%与47.78%,有效提高了算法的实时性。本文提出的估计算法能够为卡尔曼状态估计算法在实际工程应用和拓展中提供思路和方法。
-
关键词
卡尔曼状态估计
Q学习
未知模型参数
未知噪声统计特性
-
Keywords
Kalman state estimation
Q-learning
unknown model parameters
unknown noise statistical characteristics
-
分类号
TN713
[电子电信]
-
