基于部分可观测马尔科夫决策过程的C-V2V频谱接入算法

1

作者 张雪飞 《数字通信世界》 2023年第3期33-35,共3页

文章基于部分可观测马尔科夫决策过程,提出一种C-V2V(Cellular Vehicle-to-Vehicle)频谱接入算法,并在既定的网络模型下,通过仿真过程验证了本算法可有效提高车辆用户接入频谱后的吞吐量,从而改善C-V2V通信网络服务质量,可应用于交通事... 文章基于部分可观测马尔科夫决策过程,提出一种C-V2V(Cellular Vehicle-to-Vehicle)频谱接入算法,并在既定的网络模型下,通过仿真过程验证了本算法可有效提高车辆用户接入频谱后的吞吐量,从而改善C-V2V通信网络服务质量,可应用于交通事故、车辆监督管理等领域。 展开更多

关键词 C-V2V 部分可观测马尔科夫决策过程 频谱接入

在线阅读 下载PDF 职称材料

基于部分可观察马氏决策过程的频谱接入方法 被引量：2

2

作者 侯国涛 韩慧 胡俊 《电波科学学报》 EI CSCD 北大核心 2013年第3期553-558,共6页

在次用户无法准确掌握信道被占用情况下,为了减少对主用户的干扰,提出了一种基于部分可观察马尔科夫决策过程(Partially Observable Markov DecisionProcesses,POMDP)的机会式频谱接入方法.该方法把次用户在每个决策时刻从多个信道中选... 在次用户无法准确掌握信道被占用情况下,为了减少对主用户的干扰,提出了一种基于部分可观察马尔科夫决策过程(Partially Observable Markov DecisionProcesses,POMDP)的机会式频谱接入方法.该方法把次用户在每个决策时刻从多个信道中选择其中一个信道进行接入这一过程模型化为一个无限阶部分可观察马尔科夫决策过程.仿真结果表明,通过不断从外界环境中学习,次用户总可以按照目标函数最大准则选择满意的频谱空穴.该模型为动态频谱接入提供了思路. 展开更多

关键词 认知无线电 动态频谱接入 部分可观察马尔科夫决策过程

在线阅读 下载PDF 职称材料

采用马氏决策过程和后验克拉美罗下界的多被动式移动传感器长期调度方法 被引量：1

3

作者 徐公国 单甘霖 段修生 《西安交通大学学报》 EI CAS CSCD 北大核心 2019年第6期125-133,150,共10页

针对多被动式移动传感器协同工作时跟踪精度不稳定等问题,提出了一种基于多步预测的移动传感器长期调度方法。该方法结合部分可观马尔科夫决策过程(POMDP)构建多传感器调度模型,并基于后验克拉美罗下界(PCRLB)建立了传感器调度过程中的... 针对多被动式移动传感器协同工作时跟踪精度不稳定等问题,提出了一种基于多步预测的移动传感器长期调度方法。该方法结合部分可观马尔科夫决策过程(POMDP)构建多传感器调度模型,并基于后验克拉美罗下界(PCRLB)建立了传感器调度过程中的单步与长期代价函数;为有效减少计算复杂度,利用大量无迹采样粒子来近似估算长期代价值;通过将多约束非线性调度问题转化为决策树优化问题,可快速获取传感器长期调度方法,并给出了一种基于分支定界技术的改进决策树搜索算法。实验结果表明,所提方法能够实现移动式传感器的合理调度,在决策步长为2时,其目标跟踪精度相较于短期调度可平均提升6.08%;改进搜索算法的求解速度也更加迅速,能够有效满足在线调度的实时性要求。 展开更多

关键词 移动传感器 传感器调度 部分可观马尔科夫决策过程 后验克拉美罗下界 决策树

在线阅读 下载PDF 职称材料

基于IMM的无人机在线路径规划决策建模 被引量：7

4

作者 杨啟明 徐建城 +1 位作者 田海宝 吴勇 《西北工业大学学报》 EI CAS CSCD 北大核心 2018年第2期323-331,共9页

为提升无人机对目标的自主跟踪能力,以部分可观测马尔科夫决策过程(POMDP)为理论框架,建立起无人机路径在线规划POMDP模型。分析并描述了POMDP模型中的各个要素,针对目标运动规律的复杂性,引入交互多模型(IMM)方法描述POMDP模型中的状... 为提升无人机对目标的自主跟踪能力,以部分可观测马尔科夫决策过程(POMDP)为理论框架,建立起无人机路径在线规划POMDP模型。分析并描述了POMDP模型中的各个要素,针对目标运动规律的复杂性,引入交互多模型(IMM)方法描述POMDP模型中的状态转移规律,以适应目标的机动变化。同时以POMDP模型中的累加代价函数为目标函数,结合使用名义信念状态优化(NBO)算法求解无人机的行动策略,产生的行动策略控制无人机飞行。仿真结果表明,所建立的模型能够实现对无人机路径的自主规划,能够控制无人机对目标进行有效跟踪,规划的无人机路径较之使用单一的目标状态转移规律更加合理高效。 展开更多

关键词 部分可观测马尔科夫决策过程(POMDP) 交互多模型(IMM) 路径规划 目标跟踪 名义信念状态优化

在线阅读 下载PDF 职称材料

异构密集网络下基于POMDP负载感知的负载均衡算法研究 被引量：4

5

作者 唐伦 梁荣 +1 位作者 张亚 陈前斌 《电子与信息学报》 EI CSCD 北大核心 2017年第9期2134-2140,共7页

针对异构密集网络场景中业务不确定性而引起的网络负载不均衡,该文提出一种基于部分可测马尔科夫决策过程(POMDP)负载感知的负载均衡方法。该方法首先通过对系统用户在感知周期内数据包传输数量进行观察,预测出下一周期系统可能出现的... 针对异构密集网络场景中业务不确定性而引起的网络负载不均衡,该文提出一种基于部分可测马尔科夫决策过程(POMDP)负载感知的负载均衡方法。该方法首先通过对系统用户在感知周期内数据包传输数量进行观察,预测出下一周期系统可能出现的负载状态。其次根据负载感知结果动态调整小区范围扩展偏置值(DCRE),以达到优化系统整体负载均衡性的目的。最后采用启发式算法近似求解,能够快速得到次优解。仿真结果表明,该方案能在异构密集网络下提高系统负载均衡性,同时提升了系统吞吐量与系统资源利用率。 展开更多

关键词 异构密集网络 负载均衡 小区范围扩展 部分可测马尔科夫决策过程

在线阅读 下载PDF 职称材料

瑞利衰落环境中一种能量有效的多无线电信道搜索机制研究

6

作者 黄川 郑宝玉 李世唐 《电子与信息学报》 EI CSCD 北大核心 2010年第5期1193-1199,共7页

针对当前频谱搜索机制在能量有效方面的不足,该文提出了一种在瑞利衰落条件下基于部分可测马尔科夫决策过程(POMDP)的多无线电信道搜索机制MRCSS。该机制通过对瑞利衰落环境中信道状态建立POMDP模型来分析和推导出能效最佳信道,并以此... 针对当前频谱搜索机制在能量有效方面的不足,该文提出了一种在瑞利衰落条件下基于部分可测马尔科夫决策过程(POMDP)的多无线电信道搜索机制MRCSS。该机制通过对瑞利衰落环境中信道状态建立POMDP模型来分析和推导出能效最佳信道,并以此指导用户的信道选择。仿真结果表明该机制能较传统搜索机制更有效地减少感知时间和节省能耗,从而达到提高频谱感知性能的目的。 展开更多

关键词 频谱感知 瑞利衰落 部分可测马尔科夫决策过程 多无线电

在线阅读 下载PDF 职称材料

一种能量有效的认知无线电信道搜索机制研究

7

作者 黄川 郑宝玉 《南京邮电大学学报（自然科学版）》 2011年第1期45-51,共7页

针对当前认知无线电中频谱搜索机制在能量有效方面的不足,提出了一种在瑞利衰落条件下基于部分可测马尔科夫决策过程(POMDP)的多无线电信道搜索机制MRCSS。该机制通过对瑞利衰落环境中信道状态建立POMDP模型来分析和推导出能效最佳信道... 针对当前认知无线电中频谱搜索机制在能量有效方面的不足,提出了一种在瑞利衰落条件下基于部分可测马尔科夫决策过程(POMDP)的多无线电信道搜索机制MRCSS。该机制通过对瑞利衰落环境中信道状态建立POMDP模型来分析和推导出能效最佳信道,并以此指导用户的信道选择。仿真结果表明该机制能较传统搜索机制更有效地减少感知时间和节省能耗,从而达到提高频谱感知性能的目的。 展开更多

关键词 频谱感知 瑞利衰落 部分可测马尔科夫决策过程 多无线电

在线阅读 下载PDF 职称材料

多目标跟踪中基于目标威胁度评估的传感器控制方法 被引量：10

8

作者 陈辉 贺忠良 +1 位作者 连峰 李晨 《电子与信息学报》 EI CSCD 北大核心 2018年第12期2861-2867,共7页

该文基于随机有限集的多目标滤波器提出一种基于目标威胁度评估的传感器控制策略。首先,在部分可观测马尔科夫决策过程(POMDP)的理论框架下,给出基于信息论的传感器控制一般方法。其次,结合目标运动态势对影响目标威胁度的因素进行分析... 该文基于随机有限集的多目标滤波器提出一种基于目标威胁度评估的传感器控制策略。首先,在部分可观测马尔科夫决策过程(POMDP)的理论框架下,给出基于信息论的传感器控制一般方法。其次,结合目标运动态势对影响目标威胁度的因素进行分析。然后,基于粒子多目标滤波器估计多目标状态,依据多目标运动态势的评估研究建立多目标威胁水平,并从多目标分布特性中深入分析并提取出当前时刻最大威胁度目标的分布特性。最后,利用Rényi散度作为传感器控制的评价指标,以最大威胁度目标的信息增益最大化为准则进行最终控制方案的求解。仿真实验验证了该方法的实用性和有效性。 展开更多

关键词 多目标跟踪 目标威胁度 战术重要性标绘 传感器控制 部分可观测马尔科夫决策过程

在线阅读 下载PDF 职称材料

基于POMDP的认知无线电自适应频谱感知算法 被引量：12

9

作者 许瑞琛 蒋挺 《通信学报》 EI CSCD 北大核心 2013年第6期49-56,共8页

针对如何建立适合毫秒级频谱空洞场景的频谱感知机制这一问题,推导出最佳次级用户单次数据传输时间长度,解决了数据传输量最大化的问题;其次提出一种基于部分可观测马尔科夫决策过程(POMDP,partiallyobservable Markov decision process... 针对如何建立适合毫秒级频谱空洞场景的频谱感知机制这一问题,推导出最佳次级用户单次数据传输时间长度,解决了数据传输量最大化的问题;其次提出一种基于部分可观测马尔科夫决策过程(POMDP,partiallyobservable Markov decision process)的自适应频谱感知算法,解决了快速接入毫秒级频谱空洞的问题。该算法根据上一决策时段的信念向量和感知结果自适应确定在当前决策时段内进行频谱感知或数据传输行为。仿真结果表明,该自适应频谱感知算法能够有效控制次级用户和主用户的冲突概率并增加频谱利用率。 展开更多

关键词 部分可观测马尔科夫决策过程 自适应感知 数据传输时间 冲突概率 频谱利用率

在线阅读 下载PDF 职称材料

一种基于最优策略概率分布的POMDP值迭代算法 被引量：4

10

作者 刘峰 王崇骏 骆斌 《电子学报》 EI CAS CSCD 北大核心 2016年第5期1078-1084,共7页

随着应用中POMDP问题的规模不断扩大,基于最优策略可达区域的启发式方法成为了目前的研究热点.然而目前已有的算法虽然保证了全局最优,但选择最优动作还不够精确,影响了算法的效率.本文提出一种基于最优策略概率的值迭代方法 PBVIOP.该... 随着应用中POMDP问题的规模不断扩大,基于最优策略可达区域的启发式方法成为了目前的研究热点.然而目前已有的算法虽然保证了全局最优,但选择最优动作还不够精确,影响了算法的效率.本文提出一种基于最优策略概率的值迭代方法 PBVIOP.该方法在深度优先的启发式探索中,根据各个动作值函数在其上界和下界之间的分布,用蒙特卡罗法计算动作最优的概率,选择概率最大的动作作为最优探索策略.在4个基准问题上的实验结果表明PBVIOP算法能够收敛到全局最优解,并明显提高了收敛效率. 展开更多

关键词 部分可观测马尔科夫决策过程 基于最优策略概率的值迭代算法 蒙特卡罗法

在线阅读 下载PDF 职称材料

基于分层强化学习的AUV路径跟踪技术研究 被引量：2

11

作者 潘昕 冯国利 侯新国 《海军工程大学学报》 CAS 北大核心 2021年第3期106-112,共7页

针对传统的欠驱动无人自主水下航行器路径跟踪技术依赖于精确的运动模型,且在三维空间中的应用存在着理论推导复杂、实际应用价值不高的缺点,首先将路径跟踪看作部分马尔科夫决策过程,通过在Soft Actor Critic框架中引入LSTM网络,提出LS... 针对传统的欠驱动无人自主水下航行器路径跟踪技术依赖于精确的运动模型,且在三维空间中的应用存在着理论推导复杂、实际应用价值不高的缺点,首先将路径跟踪看作部分马尔科夫决策过程,通过在Soft Actor Critic框架中引入LSTM网络,提出LSTM-SAC算法解决二维路径跟踪问题;然后,将三维空间的跟踪问题利用分层思想划分到xOy和xOz两个子平面求解,在子平面中以较少的状态变量训练网络。仿真结果表明:所提算法具有更好的鲁棒性和更快的收敛速度,能够有效解决三维环境下的路径跟踪问题。 展开更多

关键词 AUV 路径跟踪 部分马尔科夫决策过程 分层强化学习

在线阅读 下载PDF 职称材料

CVANET中基于POMDP模型的频谱接入算法 被引量：1

12

作者 张雪飞 章国安 季彦呈 《电信科学》 北大核心 2014年第9期111-115,共5页

针对认知车载Ad Hoc网络(CVANET)信道的动态特性,以部分可观测马尔科夫决策过程(POMDP)为模型对认知车辆用户的频谱感知和频谱接入过程进行研究,提出基于POMDP模型的分布式机会频谱接入算法,并通过贪心算法降低POMDP算法计算量,最后通... 针对认知车载Ad Hoc网络(CVANET)信道的动态特性,以部分可观测马尔科夫决策过程(POMDP)为模型对认知车辆用户的频谱感知和频谱接入过程进行研究,提出基于POMDP模型的分布式机会频谱接入算法,并通过贪心算法降低POMDP算法计算量,最后通过仿真研究影响认知车辆用户吞吐量的主要因素,并验证算法的可行性。仿真分析结果表明,认知车辆用户通过本算法接入吞吐量得到有效提高,降低了交通中广播风暴的可能,并且降低了计算量。 展开更多

关键词 认知车载网 认知无线电 部分可观测马尔科夫决策过程 频谱接入 贪心算法

在线阅读 下载PDF 职称材料

基于POMDP的单用户认知移动边缘计算资源分配 被引量：2

13

作者 刘伯阳 马杰 +1 位作者 李伟 万奕尧 《西安邮电大学学报》 2021年第4期26-33,共8页

对移动边缘计算网络用户数量巨大、频谱稀缺的问题,提出一种由一个次用户、多个主用户与一个无线接入点构成的认知边缘计算网络中的计算资源分配方案。次用户通过频谱感知对主用户状态进行感知,利用强化学习中的部分可观测马尔科夫决策... 对移动边缘计算网络用户数量巨大、频谱稀缺的问题,提出一种由一个次用户、多个主用户与一个无线接入点构成的认知边缘计算网络中的计算资源分配方案。次用户通过频谱感知对主用户状态进行感知,利用强化学习中的部分可观测马尔科夫决策过程(Partially Observable Markov Decision Process,POMDP)对次用户的计算能耗、操作模式、CPU计算频率和任务卸载功率进行联合优化,最大化次用户能获得的长期期望计算量。仿真结果表明,所提方案与只考虑单个时隙的方案相比,在获得的长期期望计算量方面显著提高,能有效缓解移动边缘计算网络中的频谱稀缺问题。 展开更多

关键词 移动边缘计算 认知无线电 部分可观测马尔科夫决策过程 频谱感知

在线阅读 下载PDF 职称材料

多次用户认知边缘计算网络资源分配方案 被引量：2

14

作者 刘伯阳 魏晨松 +2 位作者 李伟 万奕尧 耶旭立 《西安邮电大学学报》 2022年第3期8-15,共8页

为了缓解当前边缘计算网络中资源优化方案长期收益有限与频谱效率低的问题,基于强化学习,提出一种多次用户认知边缘计算网络资源分配方案。建立了一个认知边缘计算网络资源分配优化设计模型,该模型由多个次用户、一个主用户以及一个小... 为了缓解当前边缘计算网络中资源优化方案长期收益有限与频谱效率低的问题,基于强化学习,提出一种多次用户认知边缘计算网络资源分配方案。建立了一个认知边缘计算网络资源分配优化设计模型,该模型由多个次用户、一个主用户以及一个小基站构成。次用户通过小基站对主用户状态进行频谱感知,采用时分多址技术接入主用户频谱进行任务卸载。利用部分可观测马尔科夫决策过程对认知边缘计算网络中的次用户信道接入时间比例、边缘计算能耗、CPU计算频率与任务卸载功率进行联合优化设计,最大化次用户能获得的加权期望计算比特数之和。仿真结果表明,相比只考虑单个时隙性能最优的传统算法,所提方案显著提升了网络中次级用户长期期望计算比特数。 展开更多

关键词 认知无线电 边缘计算 强化学习 时分多址技术 部分可观测马尔科夫决策过程

在线阅读 下载PDF 职称材料