非时齐部分可观察Markov决策规划的最优策略问题 被引量：1

1

作者 张继红 郭世贞 章芸 《运筹学学报》 CSCD 北大核心 2004年第2期81-87,共7页

本文讨论了一类非时齐部分可观察Markov决策模型.在不改变状态空间可列 性的条件下,把该模型转化为[5]中的一般化折扣模型,从而解决了其最优策略问题,并 且得到了该模型的有限阶段逼近算法,其中该算法涉及的状态是可列的.

关键词 部分可观察markov决策规划 最优策略 非时齐 折扣模型 逼近

在线阅读 下载PDF 职称材料

基于部分可观察马尔可夫决策过程的多被动传感器组网协同反隐身探测任务规划 被引量：13

2

作者 万开方 高晓光 +1 位作者 李波 梅军峰 《兵工学报》 EI CAS CSCD 北大核心 2015年第4期731-743,共13页

针对反隐身作战需求,提出多被动传感器组网协同战术。为提升反隐身探测效能,引入部分可观察马尔可夫决策过程(POMDP)理论,分析了POMDP任务规划要素,建立起多被动传感器组网协同反隐身探测任务规划POMDP模型。建立了多被动传感器协同控... 针对反隐身作战需求,提出多被动传感器组网协同战术。为提升反隐身探测效能,引入部分可观察马尔可夫决策过程(POMDP)理论,分析了POMDP任务规划要素,建立起多被动传感器组网协同反隐身探测任务规划POMDP模型。建立了多被动传感器协同控制系统结构,提出了基于无迹卡尔曼滤波(UKF)的信念状态更新方法和基于蒙特卡洛Rollout采样(MCRS)的Q值估计方法,并设计了CCSP基本策略。仿真结果表明,所建立的模型能够实现多被动传感器的高效管理调度,能够控制多被动传感器对隐身目标进行有效探测跟踪,即模型有效性得到了验证。 展开更多

关键词 控制科学与技术 传感器技术 反隐身 多传感器组网 部分可观察马尔可夫决策过程 信念状态 任务规划

在线阅读 下载PDF 职称材料

一种用于部分可观察随机域的情感计算模型

3

作者 黄向阳 张娜 +1 位作者 王旭仁 彭岩 《计算机应用与软件》 CSCD 2016年第2期73-76,114,共5页

在计算机游戏中,富有情感可以使非玩家角色表现得更加真实,同时增加游戏的趣味性以吸引更多的游戏爱好者参与。在部分可观察不确定环境提出一种基于规划的情感计算模型。首先,基于部分可观察马尔科夫决策过程提出一种成本约束的目标导... 在计算机游戏中,富有情感可以使非玩家角色表现得更加真实,同时增加游戏的趣味性以吸引更多的游戏爱好者参与。在部分可观察不确定环境提出一种基于规划的情感计算模型。首先,基于部分可观察马尔科夫决策过程提出一种成本约束的目标导向行为规划技术用于规划智能体行为;其次,在规划执行过程中结合评价与再评价的双层评价理论计算生成情感;最后,结合特定情境设计两组对比实验。实验表明该模型能够提高智能体的逼真度且更加吸引玩家。 展开更多

关键词 情感计算 目标导向行为规划 部分可观察马尔科夫决策过程 双层评价理论

在线阅读 下载PDF 职称材料

杂合启发式在线POMDP规划 被引量：3

4

作者 章宗长 陈小平 《软件学报》 EI CSCD 北大核心 2013年第7期1589-1600,共12页

许多不确定环境下的自主机器人规划任务都可以用部分可观察的马氏决策过程(partially observableMarkov decision process,简称POMDP)建模.尽管研究者们在近似求解技术的设计方面已经取得了显著的进展,开发高效的POMDP规划算法依然是一... 许多不确定环境下的自主机器人规划任务都可以用部分可观察的马氏决策过程(partially observableMarkov decision process,简称POMDP)建模.尽管研究者们在近似求解技术的设计方面已经取得了显著的进展,开发高效的POMDP规划算法依然是一个具有挑战性的问题.以前的研究结果表明:在线规划方法能够高效地处理大规模的POMDP问题,因而是一类具有研究前景的近似求解方法.这归因于它们采取的是"按需"作决策而不是预前对整个状态空间作决策的方式.旨在通过设计一个新颖的杂合启发式函数来进一步加速POMDP在线规划过程,该函数能够充分利用现有算法里一些被忽略掉的启发式信息.实现了一个新的杂合启发式在线规划(hybrid heuristiconline planning,简称HHOP)算法.在一组POMDP基准问题上,HHOP有明显优于现有在线启发式搜索算法的实验性能. 展开更多

关键词 部分可观察的马氏决策过程 在线规划 杂合启发法

在线阅读 下载PDF 职称材料

基于后验信念聚类的在线规划算法

5

作者 仵博 吴敏 《计算机工程》 CAS CSCD 2013年第4期214-218,共5页

在连续状态的部分可观察马尔可夫决策过程中,在线规划无法同时满足高实时性与低误差的要求。为此,提出一种基于后验信念聚类的在线规划算法。使用KL散度分析连续状态下后验信念之间的误差,根据误差分析结果对后验信念进行聚类,利用聚类... 在连续状态的部分可观察马尔可夫决策过程中,在线规划无法同时满足高实时性与低误差的要求。为此,提出一种基于后验信念聚类的在线规划算法。使用KL散度分析连续状态下后验信念之间的误差,根据误差分析结果对后验信念进行聚类,利用聚类后验信念计算报酬值,并采用分支界限裁剪方法裁剪后验信念与或树。实验结果表明,该算法能够有效降低求解问题的规模,消除重复计算,具有较好的实时性和较低的误差。 展开更多

关键词 部分可观察马尔可夫决策过程 后验信念聚类 在线规划 KL散度 分支界限

在线阅读 下载PDF 职称材料

一种无人车无信号保护路口左转规划方法

6

作者 夏志远 黄妙华 李其仲 《合肥工业大学学报（自然科学版）》 CAS 北大核心 2022年第5期665-672,共8页

为解决无人驾驶车辆在无信号保护路口左转规划中高效性与安全性相矛盾的问题,文章参考路径-速度解耦规划思路,提出一种左转规划区对角线分割(diagonal division of the planning area of left turns,DDPALT)的路径生成方法,结合基于部... 为解决无人驾驶车辆在无信号保护路口左转规划中高效性与安全性相矛盾的问题,文章参考路径-速度解耦规划思路,提出一种左转规划区对角线分割(diagonal division of the planning area of left turns,DDPALT)的路径生成方法,结合基于部分可观察马尔可夫决策过程(partially observable Markov decision process,POMDP)的速度规划方法分别进行路径与速度规划,实现在环境车辆驾驶意图不确定情形下安全高效的左转规划。利用PreScan和MATLAB/Simulink联合仿真对文中提出的方法进行验证,结果表明,该方法能够让无人驾驶车辆在不确定环境中选择合适的路径并安全高效地完成左转。 展开更多

关键词 无人驾驶车辆 无信号路口 左转规划 交通安全 部分可观察马尔可夫决策过程(POMDP)

在线阅读 下载PDF 职称材料

基于策略迭代和值迭代的POMDP算法 被引量：7

7

作者 孙湧 仵博 冯延蓬 《计算机研究与发展》 EI CSCD 北大核心 2008年第10期1763-1768,共6页

部分可观察Markov决策过程是通过引入信念状态空间将非Markov链问题转化为Markov链问题来求解,其描述真实世界的特性使它成为研究随机决策过程的重要分支.介绍了部分可观察Markov决策过程的基本原理和决策过程,提出一种基于策略迭代和... 部分可观察Markov决策过程是通过引入信念状态空间将非Markov链问题转化为Markov链问题来求解,其描述真实世界的特性使它成为研究随机决策过程的重要分支.介绍了部分可观察Markov决策过程的基本原理和决策过程,提出一种基于策略迭代和值迭代的部分可观察Markov决策算法,该算法利用线性规划和动态规划的思想,解决当信念状态空间较大时出现的"维数灾"问题,得到Markov决策的逼近最优解.实验数据表明该算法是可行的和有效的. 展开更多

关键词 部分可观察markov决策 决策算法 智能体 值迭代 策略迭代

在线阅读 下载PDF 职称材料

异构无线传感器网络中基于POMDP的实时调度算法 被引量：2

8

作者 冯延蓬 仵博 郑红燕 《仪表技术与传感器》 CSCD 北大核心 2012年第8期101-104,共4页

针对异构无线传感器网络节点性能存在差异和易受环境影响的特点,提出一种基于部分可观察Markov决策过程(partially observable markov decision process,POMDP)的实时休眠调度算法,使用状态转移函数和观察函数表示系统完成用户请求任务... 针对异构无线传感器网络节点性能存在差异和易受环境影响的特点,提出一种基于部分可观察Markov决策过程(partially observable markov decision process,POMDP)的实时休眠调度算法,使用状态转移函数和观察函数表示系统完成用户请求任务中存在的环境噪声和传输冲突等不确定性,使用回报函数表示采用不同调度策略对异构网络感知准确度和能量消耗的影响,采用基于当前信念点的在线求解算法求取最优策略。仿真结果表明:该算法能够平衡数据准确性与能量消耗,延长网络生存时间。 展开更多

关键词 异构无线传感器网络 部分可观察markov决策过程 调度

在线阅读 下载PDF 职称材料

SHP-VI:一种基于最短哈密顿通路的POMDP值迭代算法 被引量：1

9

作者 冯奇 周雪忠 +1 位作者 黄厚宽 张小平 《计算机研究与发展》 EI CSCD 北大核心 2011年第12期2343-2351,共9页

基于试探(trial-based)的值迭代算法是求解部分可观察Markov决策过程(partially observable Markov decision process,POMDP)模型的一类有效算法,其中FSVI算法是目前最快的算法之一.然而对于较大规模的POMDP问题,FSVI计算MDP值函数的时... 基于试探(trial-based)的值迭代算法是求解部分可观察Markov决策过程(partially observable Markov decision process,POMDP)模型的一类有效算法,其中FSVI算法是目前最快的算法之一.然而对于较大规模的POMDP问题,FSVI计算MDP值函数的时间是不容忽视的.提出一种基于最短哈密顿通路(shortest Hamiltonian path)的值迭代算法(shortest Hamiltonian path-based value iteration,SHP-VI).该方法用求解最短哈密顿通路问题的蚁群算法计算一条最优信念状态轨迹,然后在这些信念状态上反向更新值函数.通过与FSVI算法的实验比较,结果表明SHP-VI算法很大程度地提高了基于试探的算法计算信念状态轨迹的效率. 展开更多

关键词 部分可观察markov决策过程 值迭代 基于点的算法 基于试探的算法 哈密顿通路

在线阅读 下载PDF 职称材料

基于FPOMDP的无线传感器网络动态调度算法 被引量：1

10

作者 冯延蓬 仵博 郑红燕 《计算机应用与软件》 CSCD 北大核心 2012年第8期55-58,77,共5页

针对无线传感器网络节点能量有限、数据采集易受环境影响的问题,提出一种基于可分解部分可观察Markov决策过程FPOMDP(Factored Partially Observable Markov Decision Process)的节点休眠调度算法。通过节点空时相关模型求取休眠节点数... 针对无线传感器网络节点能量有限、数据采集易受环境影响的问题,提出一种基于可分解部分可观察Markov决策过程FPOMDP(Factored Partially Observable Markov Decision Process)的节点休眠调度算法。通过节点空时相关模型求取休眠节点数据,利用网络数据准确性和节点能量间的条件独立关系,构造状态转移函数、观察函数和奖赏函数,采用值迭代求解算法求取最优策略,实现节点动态调度。仿真结果表明,该算法能够在保证数据准确性的前提下,有效降低节点能量消耗,延长网络生存时间。 展开更多

关键词 无线传感器网络 可分解部分可观察markov决策过程 空时相关模型

在线阅读 下载PDF 职称材料

基于POMDP的认知无线电动态频谱接入算法 被引量：2

11

作者 舒鹏飞 李政 +1 位作者 谭学治 刘玉涛 《科学技术与工程》 2009年第12期3288-3291,共4页

针对当前认知无线电动态频谱接入算法实现复杂度高的缺点,提出了在硬件受限制的情况下,基于部分可观察马尔科夫决策过程的动态频谱接入算法。该算法利用多次对外界信道的检测得到对外界环境的估计,然后根据此估计以当前和未来收益总和... 针对当前认知无线电动态频谱接入算法实现复杂度高的缺点,提出了在硬件受限制的情况下,基于部分可观察马尔科夫决策过程的动态频谱接入算法。该算法利用多次对外界信道的检测得到对外界环境的估计,然后根据此估计以当前和未来收益总和最大化为目标,实频谱接入,并实现了最优解和贪心法次优解。该算法比随机检测接入算法多获得约25%的带宽,贪心法的次优解在阶段数较少时与最优解性能非常接近。 展开更多

关键词 认知无线电 动态频谱接入 部分可观察马尔科夫决策过程 动态规划

在线阅读 下载PDF 职称材料