基于分层POMDP的智能轮椅行为控制方法 被引量：3

1

作者 陶永 王田苗 +1 位作者 魏洪兴 陈殿生 《高技术通讯》 CAS CSCD 北大核心 2010年第6期613-617,共5页

针对部分可观察马尔可夫决策过程(POMDP)模型在智能轮椅控制上的应用因模型参数难以确定而受到限制的问题,将POMDP模型决策过程中的动作空间分成一系列较小动作子集,进而提出了一种基于分层POMDP模型的智能轮椅行为控制方法。该方法综... 针对部分可观察马尔可夫决策过程(POMDP)模型在智能轮椅控制上的应用因模型参数难以确定而受到限制的问题,将POMDP模型决策过程中的动作空间分成一系列较小动作子集,进而提出了一种基于分层POMDP模型的智能轮椅行为控制方法。该方法综合了动作的不确定性和状态的部分可观测性,通过对环境的观测和信息的采集,得到不确定环境下的最优策略选择,进而选择相应的最优动作,从而提高了动作的执行效率。在室内家居环境下进行的交互任务与导航控制试验以及对实验结果进行的分析验证了这一方法的实时性、有效性和可靠性。 展开更多

关键词 智能轮椅 行为控制方法 分层的部分可观测马尔可夫决策过程(pomdp)模型

在线阅读 下载PDF 职称材料

异构密集网络下基于POMDP负载感知的负载均衡算法研究 被引量：4

2

作者 唐伦 梁荣 +1 位作者 张亚 陈前斌 《电子与信息学报》 EI CSCD 北大核心 2017年第9期2134-2140,共7页

针对异构密集网络场景中业务不确定性而引起的网络负载不均衡,该文提出一种基于部分可测马尔科夫决策过程(POMDP)负载感知的负载均衡方法。该方法首先通过对系统用户在感知周期内数据包传输数量进行观察,预测出下一周期系统可能出现的... 针对异构密集网络场景中业务不确定性而引起的网络负载不均衡,该文提出一种基于部分可测马尔科夫决策过程(POMDP)负载感知的负载均衡方法。该方法首先通过对系统用户在感知周期内数据包传输数量进行观察,预测出下一周期系统可能出现的负载状态。其次根据负载感知结果动态调整小区范围扩展偏置值(DCRE),以达到优化系统整体负载均衡性的目的。最后采用启发式算法近似求解,能够快速得到次优解。仿真结果表明,该方案能在异构密集网络下提高系统负载均衡性,同时提升了系统吞吐量与系统资源利用率。 展开更多

关键词 异构密集网络 负载均衡 小区范围扩展 部分可测马尔科夫决策过程

在线阅读 下载PDF 职称材料

一种基于最优策略概率分布的POMDP值迭代算法 被引量：4

3

作者 刘峰 王崇骏 骆斌 《电子学报》 EI CAS CSCD 北大核心 2016年第5期1078-1084,共7页

随着应用中POMDP问题的规模不断扩大,基于最优策略可达区域的启发式方法成为了目前的研究热点.然而目前已有的算法虽然保证了全局最优,但选择最优动作还不够精确,影响了算法的效率.本文提出一种基于最优策略概率的值迭代方法 PBVIOP.该... 随着应用中POMDP问题的规模不断扩大,基于最优策略可达区域的启发式方法成为了目前的研究热点.然而目前已有的算法虽然保证了全局最优,但选择最优动作还不够精确,影响了算法的效率.本文提出一种基于最优策略概率的值迭代方法 PBVIOP.该方法在深度优先的启发式探索中,根据各个动作值函数在其上界和下界之间的分布,用蒙特卡罗法计算动作最优的概率,选择概率最大的动作作为最优探索策略.在4个基准问题上的实验结果表明PBVIOP算法能够收敛到全局最优解,并明显提高了收敛效率. 展开更多

关键词 部分可观测马尔科夫决策过程 基于最优策略概率的值迭代算法 蒙特卡罗法

在线阅读 下载PDF 职称材料

基于POMDP模型的分布式机会频谱接入算法 被引量：2

4

作者 张士兵 王惠建 邹丽 《南京邮电大学学报（自然科学版）》 北大核心 2014年第1期10-16,共7页

针对认知无线电(cognitive radio,CR)信道的动态特性,以部分可观测马尔科夫决策过程(POMDP)为模型对认知无线电网络用户的频谱感知和频谱接入过程进行研究,提出了基于POMDP模型的分布式机会频谱接入算法。该算法利用网络信道的历史频谱... 针对认知无线电(cognitive radio,CR)信道的动态特性,以部分可观测马尔科夫决策过程(POMDP)为模型对认知无线电网络用户的频谱感知和频谱接入过程进行研究,提出了基于POMDP模型的分布式机会频谱接入算法。该算法利用网络信道的历史频谱感知信息对主用户接入信道的状况作出估计,以认知用户吞吐量最大化为目标进行频谱接入。同时,通过贪心算法得到此优化策略的次优解,降低了最优策略的计算复杂度。论文分析了认知用户接入吞吐量与网络中信道数目以及信道状态转移概率之间的关系,将贪心算法与随机检测接入算法进行了仿真比较。仿真结果显示,该算法获得的吞吐量比随机检测接入算法提高了约25%,能够更有效地做出接入策略。 展开更多

关键词 认知无线电 机会频谱接入 吞吐量 pomdp

在线阅读 下载PDF 职称材料

一种基于POMDP用户意图建模的智能轮椅导航控制方法

5

作者 陶永 王田苗 +1 位作者 魏洪兴 陈殿生 《东南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2009年第S1期95-99,共5页

通过部分可观测马尔可夫决策过程(POMDP)模型对用户意图进行建模,提出了一种基于POMDP用户意图建模的智能轮椅导航控制方法.该方法考虑了动作的不确定性和状态的部分可观测性,对用户意图、智能轮椅导航控制的动作空间进行建模,通过状态... 通过部分可观测马尔可夫决策过程(POMDP)模型对用户意图进行建模,提出了一种基于POMDP用户意图建模的智能轮椅导航控制方法.该方法考虑了动作的不确定性和状态的部分可观测性,对用户意图、智能轮椅导航控制的动作空间进行建模,通过状态预测进而选择行为的最优规划,实现用户期望总值的最大化.首先介绍了POMDP的原理及模型,然后提出了基于POMDP用户意图的智能轮椅控制状态空间、动作空间、观察值集合、奖赏值和概率分布,进而提出了一种基于概率密度函数的用户意图求解方法.最后,对基于POMDP用户意图建模的智能轮椅导航控制进行了试验,并对试验结果进行了分析,从而验证了所提方法的实时性和有效性. 展开更多

关键词 智能轮椅 用户意图模型 部分可观测马尔可夫决策过程 控制方法

在线阅读 下载PDF 职称材料

基于POMDP的可伸缩视频流优化决策调度 被引量：1

6

作者 范凤军 邹君妮 +1 位作者 汪敏 熊红凯 《上海交通大学学报》 EI CAS CSCD 北大核心 2010年第3期393-397,共5页

针对可伸缩视频流在无线通信中的数据包调度问题,提出了一种基于部分可观测马尔可夫决策过程(POMDP)的决策调度策略,在用户状态不确定或部分可观测条件下,采用POMDP建立了完整的最优化调度模型,以实现视频接收质量的最佳化.仿真实验结... 针对可伸缩视频流在无线通信中的数据包调度问题,提出了一种基于部分可观测马尔可夫决策过程(POMDP)的决策调度策略,在用户状态不确定或部分可观测条件下,采用POMDP建立了完整的最优化调度模型,以实现视频接收质量的最佳化.仿真实验结果表明,与传统的调度算法相比,该方法有效提高了视频流的平均峰值信噪比(PSNR).随着调度规模的扩大,其性能能够逐渐逼近用户状态完全确定的理想马尔可夫决策过程(MDP)模型. 展开更多

关键词 可伸缩视频编码 部分可观测马尔可夫决策过程 优化调度 无线广播

在线阅读 下载PDF 职称材料

基于POMDP的主动雷达制导弹干扰措施优化方法 被引量：2

7

作者 张翔 吴华 +2 位作者 陈游 宋海方 周一鹏 《空军工程大学学报（自然科学版）》 CSCD 北大核心 2018年第5期90-96,共7页

以主动雷达弹对抗为背景,研究了单平台机载电子对抗资源的调度问题。为解决导弹导引头状态观测不确定性问题,引入部分可观测马尔科夫决策过程(POMDP)理论,分析了POMDP模型的要素,建立了针对主动雷达制导导弹的干扰资源优化POMDP模型,并... 以主动雷达弹对抗为背景,研究了单平台机载电子对抗资源的调度问题。为解决导弹导引头状态观测不确定性问题,引入部分可观测马尔科夫决策过程(POMDP)理论,分析了POMDP模型的要素,建立了针对主动雷达制导导弹的干扰资源优化POMDP模型,并利用最优策略可达空间的连续近似法(SARSOP)进行求解。将电子支援措施(ESM)的观测值输出与电子干扰措施(ECM)的优化策略相结合,提出了一种基于POMDP的电子对抗资源实时调度优化算法。仿真结果表明,该方法能够实现目标状态不确定情况下的干扰资源有效调度,相比现有的调度策略,可以使导引头更多维持在搜索状态,更少停留在稳定跟踪状态。 展开更多

关键词 主动雷达制导导弹 干扰资源优化 部分可观测马氏决策过程 最优策略可达空间的连续近似法

在线阅读 下载PDF 职称材料

CVANET中基于POMDP模型的频谱接入算法 被引量：1

8

作者 张雪飞 章国安 季彦呈 《电信科学》 北大核心 2014年第9期111-115,共5页

针对认知车载Ad Hoc网络(CVANET)信道的动态特性,以部分可观测马尔科夫决策过程(POMDP)为模型对认知车辆用户的频谱感知和频谱接入过程进行研究,提出基于POMDP模型的分布式机会频谱接入算法,并通过贪心算法降低POMDP算法计算量,最后通... 针对认知车载Ad Hoc网络(CVANET)信道的动态特性,以部分可观测马尔科夫决策过程(POMDP)为模型对认知车辆用户的频谱感知和频谱接入过程进行研究,提出基于POMDP模型的分布式机会频谱接入算法,并通过贪心算法降低POMDP算法计算量,最后通过仿真研究影响认知车辆用户吞吐量的主要因素,并验证算法的可行性。仿真分析结果表明,认知车辆用户通过本算法接入吞吐量得到有效提高,降低了交通中广播风暴的可能,并且降低了计算量。 展开更多

关键词 认知车载网 认知无线电 部分可观测马尔科夫决策过程 频谱接入 贪心算法

在线阅读 下载PDF 职称材料

基于Dec-POMDP的认知无线电网络频谱接入算法 被引量：3

9

作者 张迎晓 杨涛 +1 位作者 胡波 陈光梦 《信息与电子工程》 2010年第6期720-725,共6页

针对认知无线电网络中认知用户(CR)的机会频谱感知及接入问题,提出了一种基于分布式部分可观测马尔科夫决策过程(Dec-POMDP)的多用户频谱接入算法。在该模型框架下,相邻CR用户通过交换接入策略,以区域策略梯度方向为基准,对各个CR用户... 针对认知无线电网络中认知用户(CR)的机会频谱感知及接入问题,提出了一种基于分布式部分可观测马尔科夫决策过程(Dec-POMDP)的多用户频谱接入算法。在该模型框架下,相邻CR用户通过交换接入策略,以区域策略梯度方向为基准,对各个CR用户的接入策略做出调整,从而得到最优联合接入策略。仿真结果表明:该算法有效降低了授权用户的容量损失,提高了空闲频谱的利用效率,能够更有效地做出接入决策。 展开更多

关键词 认知无线电 可观测马尔科夫决策过程 策略梯度 频谱分配

在线阅读 下载PDF 职称材料

基于POMDP的多机无源传感器协同任务规划 被引量：2

10

作者 马玲 左燕 +1 位作者 彭冬亮 任金磊 《无线电工程》 北大核心 2022年第7期1260-1265,共6页

针对多机无源传感器协同跟踪任务规划问题,提出了一种基于部分可观察马尔可夫决策过程(Partially Observable Markov Decision Process,POMDP)的多无人机无源传感器调度算法。在POMDP框架下建立了多无人机协同跟踪规划模型。考虑量测噪... 针对多机无源传感器协同跟踪任务规划问题,提出了一种基于部分可观察马尔可夫决策过程(Partially Observable Markov Decision Process,POMDP)的多无人机无源传感器调度算法。在POMDP框架下建立了多无人机协同跟踪规划模型。考虑量测噪声方差距离相关特性,建立了广义克拉美-罗下界(Generalized Cramer-Rao Lower Bound,GCRLB)的目标跟踪长期代价指标。为满足在线规划的实时性,提出了一种基于分布式自主决策算法,仿真验证了所提算法的有效性。 展开更多

关键词 机载无源传感器 部分可观察马尔可夫决策 广义克拉美-罗下界 分布式决策 任务规划

在线阅读 下载PDF 职称材料

多小区OFDMA系统中基于POMDP的干扰协调

11

作者 魏强 杨涛 +1 位作者 冯辉 胡波 《电信科学》 北大核心 2013年第4期41-46,共6页

对OFDMA系统中的干扰协调进行了研究,提出了一种基于部分可观察马尔可夫决策过程理论的动态干扰协调算法。该算法结合干扰的统计模型和信道的信干噪比对边缘用户进行信道分配。仿真结果表明,该算法能够有效地使边缘用户避开邻小区干扰,... 对OFDMA系统中的干扰协调进行了研究,提出了一种基于部分可观察马尔可夫决策过程理论的动态干扰协调算法。该算法结合干扰的统计模型和信道的信干噪比对边缘用户进行信道分配。仿真结果表明,该算法能够有效地使边缘用户避开邻小区干扰,而且不需要小区间交互,节省了系统开销。另外,利用粒子滤波法建立了SINR和干扰的似然关系,不需要系统额外对干扰进行测量。 展开更多

关键词 OFDMA系统 多小区 小区间干扰协调 部分可观察马尔可夫决策过程

在线阅读 下载PDF 职称材料

基于信息熵的POMDP模型观测函数估计

12

作者 钟可立 王小捷 《中兴通讯技术》 2015年第5期50-55,共6页

部分可观测马尔可夫决策过程(POMDP)广泛应用于建模决策任务。模型中的观测矩阵主要用来建模环境的不确定性,通常很难从训练数据中直接获取,需要引入额外的信息进行估计。通过引入信息熵来修正模型中的观测矩阵,修正后的观测矩阵更能反... 部分可观测马尔可夫决策过程(POMDP)广泛应用于建模决策任务。模型中的观测矩阵主要用来建模环境的不确定性,通常很难从训练数据中直接获取,需要引入额外的信息进行估计。通过引入信息熵来修正模型中的观测矩阵,修正后的观测矩阵更能反映环境的不确定性。模拟环境下的实验表明,引入信息熵进行修正估计的观测矩阵有效提高了POMDP模型的性能,而在基于POMDP模型的对话系统中,修正的估计提高了系统的决策准确度。 展开更多

关键词 部分可观测马尔可夫决策过程 不确定性 意图识别 观测矩阵 信息熵

在线阅读 下载PDF 职称材料

基于POMDP的单用户认知移动边缘计算资源分配 被引量：2

13

作者 刘伯阳 马杰 +1 位作者 李伟 万奕尧 《西安邮电大学学报》 2021年第4期26-33,共8页

对移动边缘计算网络用户数量巨大、频谱稀缺的问题,提出一种由一个次用户、多个主用户与一个无线接入点构成的认知边缘计算网络中的计算资源分配方案。次用户通过频谱感知对主用户状态进行感知,利用强化学习中的部分可观测马尔科夫决策... 对移动边缘计算网络用户数量巨大、频谱稀缺的问题,提出一种由一个次用户、多个主用户与一个无线接入点构成的认知边缘计算网络中的计算资源分配方案。次用户通过频谱感知对主用户状态进行感知,利用强化学习中的部分可观测马尔科夫决策过程(Partially Observable Markov Decision Process,POMDP)对次用户的计算能耗、操作模式、CPU计算频率和任务卸载功率进行联合优化,最大化次用户能获得的长期期望计算量。仿真结果表明,所提方案与只考虑单个时隙的方案相比,在获得的长期期望计算量方面显著提高,能有效缓解移动边缘计算网络中的频谱稀缺问题。 展开更多

关键词 移动边缘计算 认知无线电 部分可观测马尔科夫决策过程 频谱感知

在线阅读 下载PDF 职称材料

考虑综合性能最优的非短视快速天基雷达多目标跟踪资源调度算法

14

作者 王增福 杨广宇 金术玲 《雷达学报（中英文）》 EI CSCD 北大核心 2024年第1期253-269,共17页

合理有效的资源调度是天基雷达效能得以充分发挥的关键。针对天基雷达多目标跟踪资源调度问题,建立了综合考虑目标威胁度、跟踪精度与低截获概率(LPI)的代价函数;考虑目标的不确定、天基平台约束以及长远期期望代价,建立了多约束下的基... 合理有效的资源调度是天基雷达效能得以充分发挥的关键。针对天基雷达多目标跟踪资源调度问题,建立了综合考虑目标威胁度、跟踪精度与低截获概率(LPI)的代价函数;考虑目标的不确定、天基平台约束以及长远期期望代价,建立了多约束下的基于部分可观测的马尔可夫决策过程(POMDP)的资源调度模型;采用拉格朗日松弛法将多约束下的多目标跟踪资源调度问题转换分解为多个无约束的子问题;针对连续状态空间、连续动作空间及连续观测空间引起的维数灾难问题,采用基于蒙特卡罗树搜索(MCTS)的在线POMDP算法—POMCPOW算法进行求解,最终提出了一种综合多指标性能的非短视快速天基雷达多目标跟踪资源调度算法。仿真表明,与已有调度算法相比,所提算法资源分配更合理,系统性能更优。 展开更多

关键词 天基雷达 资源调度 多目标跟踪 部分可观测的马尔可夫决策过程 蒙特卡罗树搜索(MCTS)

在线阅读 下载PDF 职称材料

基于深度强化学习的动态频谱智能干扰算法研究

15

作者 张兰 张彪 +1 位作者 梁天一 朱辉杰 《南京邮电大学学报（自然科学版）》 北大核心 2024年第6期1-11,共11页

随着人工智能技术的不断发展,强化学习技术在提高电磁频谱控制和干扰对抗效率方面展现出巨大潜力。针对跳频通信系统抗干扰能力强、传统干扰方法效果不佳的问题,利用深度强化学习技术实现在动态频谱环境下的电磁智能干扰。首先引入部分... 随着人工智能技术的不断发展,强化学习技术在提高电磁频谱控制和干扰对抗效率方面展现出巨大潜力。针对跳频通信系统抗干扰能力强、传统干扰方法效果不佳的问题,利用深度强化学习技术实现在动态频谱环境下的电磁智能干扰。首先引入部分可观测马尔可夫决策过程对干扰机与跳频通信用户之间的通信对抗过程进行建模,然后基于卷积神经网络和长短期记忆网络设计了一个具有频谱特征挖掘和记忆回溯功能的干扰决策网络,实现基于深度强化学习的动态频谱智能干扰(Dynamic Spectrum Intelligent Jamming,DSIJ)算法。仿真实验结果表明,相较于传统DQN算法,所提DSIJ算法的干扰成功率提升了约18%。与传统的扫频干扰方法相比,其干扰成功率更是提升了约68%,从而充分证明了所提出的算法在动态频谱环境下实现智能干扰策略的有效性与显著优势。 展开更多

关键词 深度强化学习 跳频通信 智能干扰决策 部分可观测马尔可夫决策过程

在线阅读 下载PDF 职称材料

CPSM:一种增强IP网络生存性的客户端主动服务漂移模型 被引量：10

16

作者 赵二虎 阳小龙 +1 位作者 彭云峰 隆克平 《电子学报》 EI CAS CSCD 北大核心 2010年第9期2134-2139,共6页

本文在注重提高IP网络服务可生存性的同时,也兼顾了服务可区分性的要求,提出了一种基于客户端的主动服务漂移模型,即CPSM,Client-side Proactive Service Migration model.该模型把服务漂移抽象为一个部分可观测马尔可夫决策过程,用以... 本文在注重提高IP网络服务可生存性的同时,也兼顾了服务可区分性的要求,提出了一种基于客户端的主动服务漂移模型,即CPSM,Client-side Proactive Service Migration model.该模型把服务漂移抽象为一个部分可观测马尔可夫决策过程,用以增强服务漂移对动态不确定性网络环境的自适应能力.在信息预报和信任机制的基础上,通过对网络状态的不断观测和分析,CPSM模型可以计算出使客户获益最高的服务漂移策略. 展开更多

关键词 服务可生存性 服务漂移 部分可观测马尔可夫决策过程 信息预报 信任机制

在线阅读 下载PDF 职称材料

一种无线传感器网络中目标跟踪的自适应节点调度算法 被引量：10

17

作者 胡波 王祺尧 +1 位作者 冯辉 罗灵兵 《电子与信息学报》 EI CSCD 北大核心 2018年第9期2033-2041,共9页

在无线传感器网络目标跟踪的过程中进行节点调度,可以综合考虑跟踪误差和能量消耗,延长传感器网络的使用寿命。为了综合考虑节点调度的短期和长远损失,该文将问题建模为部分可观测马尔科夫决策过程(POMDP)以得到更优的调度策略,并提出... 在无线传感器网络目标跟踪的过程中进行节点调度,可以综合考虑跟踪误差和能量消耗,延长传感器网络的使用寿命。为了综合考虑节点调度的短期和长远损失,该文将问题建模为部分可观测马尔科夫决策过程(POMDP)以得到更优的调度策略,并提出一种近似求解算法C-QMDP。该算法利用马尔科夫链蒙特卡洛方法(MCMC)推导连续状态空间的置信状态的转移,并计算瞬时代价。使用状态离散化方法,基于马尔科夫决策过程(MDP)值迭代求解未来代价的近似值。仿真结果表明,相比现有POMDP近似算法,该文算法既可以降低跟踪过程中的累积损失,又可以将大量运算进行离线计算,减小了在线决策时的计算量。 展开更多

关键词 无线传感器网络 目标跟踪 节点调度 部分可观测马尔可夫决策过程

在线阅读 下载PDF 职称材料

多目标跟踪中基于目标威胁度评估的传感器控制方法 被引量：9

18

作者 陈辉 贺忠良 +1 位作者 连峰 李晨 《电子与信息学报》 EI CSCD 北大核心 2018年第12期2861-2867,共7页

该文基于随机有限集的多目标滤波器提出一种基于目标威胁度评估的传感器控制策略。首先,在部分可观测马尔科夫决策过程(POMDP)的理论框架下,给出基于信息论的传感器控制一般方法。其次,结合目标运动态势对影响目标威胁度的因素进行分析... 该文基于随机有限集的多目标滤波器提出一种基于目标威胁度评估的传感器控制策略。首先,在部分可观测马尔科夫决策过程(POMDP)的理论框架下,给出基于信息论的传感器控制一般方法。其次,结合目标运动态势对影响目标威胁度的因素进行分析。然后,基于粒子多目标滤波器估计多目标状态,依据多目标运动态势的评估研究建立多目标威胁水平,并从多目标分布特性中深入分析并提取出当前时刻最大威胁度目标的分布特性。最后,利用Rényi散度作为传感器控制的评价指标,以最大威胁度目标的信息增益最大化为准则进行最终控制方案的求解。仿真实验验证了该方法的实用性和有效性。 展开更多

关键词 多目标跟踪 目标威胁度 战术重要性标绘 传感器控制 部分可观测马尔科夫决策过程

在线阅读 下载PDF 职称材料

室内环境下基于边际约束的快速路径自主探索算法 被引量：4

19

作者 徐晓苏 梁紫依 +1 位作者 杨博 王迪 《中国惯性技术学报》 EI CSCD 北大核心 2019年第4期474-480,共7页

为了提高移动机器人在室内未知环境的自主探索能力,实现移动机器人在探索目标点之间的安全、快速移动,提出一种基于边际约束的快速路径自主探索算法。首先,将机器人自主探索问题描述为部分可观测马尔可夫决策过程模型。之后,在传统的快... 为了提高移动机器人在室内未知环境的自主探索能力,实现移动机器人在探索目标点之间的安全、快速移动,提出一种基于边际约束的快速路径自主探索算法。首先,将机器人自主探索问题描述为部分可观测马尔可夫决策过程模型。之后,在传统的快速扩展随机树(RRT)算法基础上,将随机树的生长空间划分为边际四象限空间,结合启发式评估函数的评价。该算法加快了移动机器人在探索目标点之间的移动速度,同时减少了随机树的节点,降低了对内存空间的占用。通过Matlab仿真实验,在实验设定的仿真环境中,该算法比传统RRT算法在时间上缩短约了75%,节点数量减少了约80%,并在机器人操作系统的仿真实验中验证了算法的实用性。 展开更多

关键词 移动机器人 自主探索 部分可观测马尔可夫决策过程 快速扩展随机树 边际约束

在线阅读 下载PDF 职称材料

基于随机学习的接入网服务功能链部署算法 被引量：6

20

作者 陈前斌 杨友超 +2 位作者 周钰 赵国繁 唐伦 《电子与信息学报》 EI CSCD 北大核心 2019年第2期417-423,共7页

针对5G云化接入网场景下物理网络拓扑变化引起的高时延问题,读文提出一种基于部分观察马尔可夫决策过程(POMDP)部分感知拓扑的接入网服务功能链(SFC)部署方案。该方案考虑在5G接入网C-RAN架构下,通过心跳包观测机制感知底层物理网络拓... 针对5G云化接入网场景下物理网络拓扑变化引起的高时延问题,读文提出一种基于部分观察马尔可夫决策过程(POMDP)部分感知拓扑的接入网服务功能链(SFC)部署方案。该方案考虑在5G接入网C-RAN架构下,通过心跳包观测机制感知底层物理网络拓扑变化,由于存在观测误差无法获得全部真实的拓扑情况,因此采用基于POMDP的部分感知和随机学习而自适应动态调整接入网切片的SFC的部署,优化SFC在接入网侧的时延。为了解决维度灾问题,采用基于点的混合启发式值迭代算法求解。仿真结果表明,该模型可以优化部署接入网侧的SFC,并提高接入网吞吐量和资源利用率。 展开更多

关键词 网络切片 SFC动态部署 网络拓扑感知 部分观察马尔可夫决策过程

在线阅读 下载PDF 职称材料