期刊文献+
共找到12篇文章
< 1 >
每页显示 20 50 100
基于SMDP的异构无线网络联合接纳控制策略研究
1
作者 张媛媛 肖创柏 王坚 《北京工业大学学报》 CAS CSCD 北大核心 2015年第9期1355-1364,共10页
为了异构无线网络中不同无线技术的融合协同工作可以为终端接人提供随时随地的高质量的网络服务,联合呼叫接纳控制机制是适用于异构无线网络的判决呼叫准入的机制.提出一种优化的联合呼叫接纳控制机制用于异构无线网络,将新的呼叫和切... 为了异构无线网络中不同无线技术的融合协同工作可以为终端接人提供随时随地的高质量的网络服务,联合呼叫接纳控制机制是适用于异构无线网络的判决呼叫准入的机制.提出一种优化的联合呼叫接纳控制机制用于异构无线网络,将新的呼叫和切换呼叫作为触发接纳控制的事件,对影响服务质量的参数和接纳控制开销进行网络效用建模分析,使用改进的值迭代算法来降低计算复杂度,将阈值函数分成多个域,来获得最优决策策略.提出的联合接入控制策略可提供优化服务质量保证,节约整个网络的能耗成本,并且有效降低呼叫阻塞率和切换掉线率.实验结果表明:算法具有较高的求解有效性,而且求解速度快,具有较高的推广应用价值. 展开更多
关键词 异构无线网络 接纳控制 半马尔科夫决策过程
在线阅读 下载PDF
基于SMDP的光柴储独立微网能量控制策略优化 被引量:4
2
作者 周康 唐昊 +2 位作者 江琦 吕凯 蒋兰海 《电力系统自动化》 EI CSCD 北大核心 2016年第21期154-160,共7页
考虑含光伏发电装置、储能装置和柴油发电机组的独立微网系统,以提高微网长期运行经济性为目标,研究微网能量管理优化问题。首先对系统的随机动态特性进行建模,即针对光伏发电和负荷变化的随机特性,将微网系统的能量控制建模为半马尔可... 考虑含光伏发电装置、储能装置和柴油发电机组的独立微网系统,以提高微网长期运行经济性为目标,研究微网能量管理优化问题。首先对系统的随机动态特性进行建模,即针对光伏发电和负荷变化的随机特性,将微网系统的能量控制建模为半马尔可夫决策过程(SMDP);然后采用随机动态规划算法对最优策略进行求解,得到微网在不同的光伏发电功率、负荷需求、储能荷电状态等级和柴油发电机组运行数量下对柴油发电机组和储能装置的最优控制行动。仿真结果说明了所建随机模型的合理性和优化方法的有效性。 展开更多
关键词 微网(微电网) 光伏发电 储能 半马尔可夫决策过程
在线阅读 下载PDF
基于SMDP模型的Web服务组合优化方法 被引量:4
3
作者 柴雪霞 马学森 +1 位作者 周雷 唐昊 《合肥工业大学学报(自然科学版)》 CAS CSCD 北大核心 2011年第10期1496-1500,共5页
针对Internet环境的动态性和Web服务的不确定性,文章使用有限状态连续时间半马尔可夫决策过程(Semi-Markov Decision Process,简称SMDP)对服务组合进行建模,并给出了服务组合的Q学习优化算法,以获得最优的服务组合策略。通过仿真实验验... 针对Internet环境的动态性和Web服务的不确定性,文章使用有限状态连续时间半马尔可夫决策过程(Semi-Markov Decision Process,简称SMDP)对服务组合进行建模,并给出了服务组合的Q学习优化算法,以获得最优的服务组合策略。通过仿真实验验证了该算法的有效性,仿真结果表明,使用动态的控制方法具有较高的服务组合成功率。 展开更多
关键词 WEB服务组合 半马尔可夫决策过程 服务质量(QoS) Q学习
在线阅读 下载PDF
分层强化学习研究进展 被引量:7
4
作者 彭志平 李绍平 《计算机应用研究》 CSCD 北大核心 2008年第4期974-978,共5页
首先介绍了半马尔可夫决策过程、分层与抽象等分层强化学习的理论基础;其次,较全面地比较HAM、options、MAXQ和HEXQ四种典型的学习方法,从典型学习方法的拓展、学习分层、部分感知马尔可夫决策过程、并发和多agent合作等方面讨论分层强... 首先介绍了半马尔可夫决策过程、分层与抽象等分层强化学习的理论基础;其次,较全面地比较HAM、options、MAXQ和HEXQ四种典型的学习方法,从典型学习方法的拓展、学习分层、部分感知马尔可夫决策过程、并发和多agent合作等方面讨论分层强化学习的研究现状;最后指出分层强化学习未来的发展方向。 展开更多
关键词 分层强化学习 半马尔可夫决策过程 抽象
在线阅读 下载PDF
基于连续时间半马尔可夫决策过程的Option算法 被引量:3
5
作者 唐昊 张晓艳 +1 位作者 韩江洪 周雷 《计算机学报》 EI CSCD 北大核心 2014年第9期2027-2037,共11页
针对大规模或复杂的随机动态规划系统,可利用其分层结构特点或引入分层控制方式,借助分层强化学习(Hierarchical Reinforcement Learning,HRL)来解决其"维数灾"和"建模难"问题.HRL归属于样本数据驱动优化方法,通过... 针对大规模或复杂的随机动态规划系统,可利用其分层结构特点或引入分层控制方式,借助分层强化学习(Hierarchical Reinforcement Learning,HRL)来解决其"维数灾"和"建模难"问题.HRL归属于样本数据驱动优化方法,通过空间/时间抽象机制,可有效加速策略学习过程.其中,Option方法可将系统目标任务分解成多个子目标任务来学习和执行,层次化结构清晰,是具有代表性的HRL方法之一.传统的Option算法主要是建立在离散时间半马尔可夫决策过程(Semi-Markov Decision Processes,SMDP)和折扣性能准则基础上,无法直接用于解决连续时间无穷任务问题.因此本文在连续时间SMDP框架及其性能势理论下,结合现有的Option算法思想,运用连续时间SMDP的相关学习公式,建立一种适用于平均或折扣性能准则的连续时间统一Option分层强化学习模型,并给出相应的在线学习优化算法.最后通过机器人垃圾收集系统为仿真实例,说明了这种HRL算法在解决连续时间无穷任务优化控制问题方面的有效性,同时也说明其与连续时间模拟退火Q学习相比,具有节约存储空间、优化精度高和优化速度快的优势. 展开更多
关键词 连续时间半Markov决策过程 分层强化学习 Q学习
在线阅读 下载PDF
基于半马尔科夫决策过程的虚拟传感网络资源分配策略 被引量:2
6
作者 王汝言 李宏娟 +1 位作者 吴大鹏 李红霞 《电子与信息学报》 EI CSCD 北大核心 2019年第12期3014-3021,共8页
针对传统无线传感网络(WSN)中资源部署与特定任务的耦合关系密切,造成较低的资源利用率,进而给资源提供者带来较低的收益问题,根据虚拟传感网络请求(VSNR)的动态变化情况,该文提出虚拟传感网络(VSN)中基于半马尔科夫决策过程(SMDP)的资... 针对传统无线传感网络(WSN)中资源部署与特定任务的耦合关系密切,造成较低的资源利用率,进而给资源提供者带来较低的收益问题,根据虚拟传感网络请求(VSNR)的动态变化情况,该文提出虚拟传感网络(VSN)中基于半马尔科夫决策过程(SMDP)的资源分配策略。定义VSN的状态集、行为集、状态转移概率,考虑传感网能量受限以及完成VSNR的时间,给出奖赏函数的表达式,并使用免模型强化学习算法求解特定状态下的行为,从而最大化网络资源提供者的长期收益。数值结果表明,该文的资源分配策略能有效提高传感网资源提供者的收益。 展开更多
关键词 虚拟传感网络 资源分配 半马尔科夫决策过程
在线阅读 下载PDF
一阶非线性随机系统的学习优化控制 被引量:2
7
作者 岳峰 《合肥工业大学学报(自然科学版)》 CAS CSCD 北大核心 2010年第5期679-682,共4页
文章研究了一阶连续时间非线性随机系统的优化控制问题,通过勒贝格采样方法将其建模为半Markov决策过程,采用基于事件驱动和Q学习方法,给出了折扣和平均优化准则下统一的优化算法;仿真实验表明,该算法处理一阶非线性随机系统的最优控制... 文章研究了一阶连续时间非线性随机系统的优化控制问题,通过勒贝格采样方法将其建模为半Markov决策过程,采用基于事件驱动和Q学习方法,给出了折扣和平均优化准则下统一的优化算法;仿真实验表明,该算法处理一阶非线性随机系统的最优控制问题,可以获得较好的优化效果。 展开更多
关键词 随机系统 半MARKOV决策过程 事件驱动思想 Q学习
在线阅读 下载PDF
基于决策理论的CDMA网络中多类业务的准入控制策略
8
作者 殷志明 谢剑英 《电子与信息学报》 EI CSCD 北大核心 2003年第9期1250-1254,共5页
准入控制是码分多址(CDMA)蜂窝网络中服务质量保证的一个关键技术。该文提出了一个基于半马尔可夫决策过程理论的最优准入控制策略来支持有服务质量要求的多类业务的无线CDMA网络。用线性规划方法求解最优策略,从而在满足服务质量约束... 准入控制是码分多址(CDMA)蜂窝网络中服务质量保证的一个关键技术。该文提出了一个基于半马尔可夫决策过程理论的最优准入控制策略来支持有服务质量要求的多类业务的无线CDMA网络。用线性规划方法求解最优策略,从而在满足服务质量约束要求的同时最大化信道利用率。另外,还使用了加权公平阻塞约束来灵活地实现服务质量要求。数值结果表明此最优策略可以获得比基于阈值的准入控制方案更好的性能。 展开更多
关键词 决策理论 CDMA网络 准入控制 蜂窝网络 半马尔可夫决策过程 服务质量 码分多址
在线阅读 下载PDF
铁路客运票额预售控制决策模型研究 被引量:9
9
作者 刘帆洨 彭其渊 +1 位作者 梁宏斌 杨奎 《铁道学报》 EI CAS CSCD 北大核心 2018年第1期17-23,共7页
客票发售是列车能力利用的具体表现,票额出售即为能力占用,预售期购票需求的变化直接影响着列车能力的占用过程。本文在已知基于列车沿途停靠站的票额分配计划下,以客流需求预测值和最低票额保护值为约束。考虑预售期购票趋势与不同OD... 客票发售是列车能力利用的具体表现,票额出售即为能力占用,预售期购票需求的变化直接影响着列车能力的占用过程。本文在已知基于列车沿途停靠站的票额分配计划下,以客流需求预测值和最低票额保护值为约束。考虑预售期购票趋势与不同OD旅客的平均购票强度等因素,利用半马尔可夫决策过程来描述票额预售过程,提出单次决策期望收益模型,并以此推广至列车全程及整个预售期,最终构建以最大期望票价收益为目标的单列车票额预售控制决策模型。通过算例对模型进行了验证,结果表明本文提出的方法在考虑旅客需求的同时,可改善列车能力利用,提高列车客座率与收益。 展开更多
关键词 铁路客运 票额预售 控制决策 半马尔可夫决策过程 最大期望票价收益
在线阅读 下载PDF
服务率不确定的单站点传送带给料加工站系统鲁棒优化控制
10
作者 黄浩 唐昊 +1 位作者 周雷 程文娟 《计算机应用》 CSCD 北大核心 2015年第7期2067-2072,共6页
研究了服务率不确定情况下的单站点传送带给料加工站(CSPS)系统的鲁棒优化控制问题。在仅知服务率区间的条件下,以CSPS系统的前视距离作为控制变量,将鲁棒优化控制问题建模成不确定参数的半马尔可夫决策过程(SMDP)的极大极小优化问题,... 研究了服务率不确定情况下的单站点传送带给料加工站(CSPS)系统的鲁棒优化控制问题。在仅知服务率区间的条件下,以CSPS系统的前视距离作为控制变量,将鲁棒优化控制问题建模成不确定参数的半马尔可夫决策过程(SMDP)的极大极小优化问题,在状态相关的情况下,给出全局优化算法进行鲁棒控制策略求解。首先,运用遗传算法求解固定策略下的最差性能值;其次,根据求解得到的最差性能值,运用模拟退火算法求解最优鲁棒控制策略。仿真结果表明,服务率不确定的CSPS系统的最优鲁棒性能代价与服务率固定为区间中值系统的最优性能代价相差不大,并且随着不确定区间的缩小,两者的差值越小,说明了全局优化算法的有效性。 展开更多
关键词 传送带给料加工站 半马尔可夫决策过程 不确定服务率 全局优化 鲁棒控制策略
在线阅读 下载PDF
Optimization of dynamic sequential test strategy for equipment health management 被引量:3
11
作者 Shuming Yang Jing Qiu Guanjun Liu Peng Yang 《Journal of Systems Engineering and Electronics》 SCIE EI CSCD 2012年第1期71-77,共7页
Testing is the premise and foundation of realizing equipment health management (EHM). To address the problem that the static periodic test strategy may cause deficient test or excessive test, a dynamic sequential te... Testing is the premise and foundation of realizing equipment health management (EHM). To address the problem that the static periodic test strategy may cause deficient test or excessive test, a dynamic sequential test strategy (DSTS) for EHM is presented. Considering the situation that equipment health state is not completely observable in reality, a DSTS optimization method based on partially observable semi-Markov decision pro- cess (POSMDP) is proposed. Firstly, an equipment health state degradation model is constructed by Markov process, and the control limit maintenance policy is also introduced. Secondly, POSMDP is formulated in great detail. And then, POSMDP is converted to completely observable belief semi-Markov decision process (BSMDP) through belief state. The optimal equation and the corresponding optimal DSTS, which minimize the long-run ex- pected average cost per unit time, are obtained with BSMDP. The results of application in complex equipment show that the proposed DSTS is feasible and effective. 展开更多
关键词 equipment health management (EHM) dynamic sequential test strategy (DSTS) partially observable semi-markov decision process (POsmdp) optimal equation.
在线阅读 下载PDF
面向用户需求的空天地一体化车载网络任务分配策略 被引量:3
12
作者 谭诗翰 金凤林 顿聪颖 《系统工程与电子技术》 EI CSCD 北大核心 2022年第5期1717-1727,共11页
为了提高空天地一体化车载网络(space-air-ground integrated vehicular networks,SAGVN)内用户的网络服务质量体验,解决不同网络间相互协同的问题,提出了面向用户需求的SAGVN任务分配策略。基于用户信号强度、时延、网络费用和带宽需求... 为了提高空天地一体化车载网络(space-air-ground integrated vehicular networks,SAGVN)内用户的网络服务质量体验,解决不同网络间相互协同的问题,提出了面向用户需求的SAGVN任务分配策略。基于用户信号强度、时延、网络费用和带宽需求,利用效用函数理论和层次分析法(analytic hierarchy process,AHP),构建用户需求和满意度描述框架。将网络任务分配过程抽象为半马尔可夫决策过程(semi Markov decision process,SMDP),根据用户需求和网络状态,利用价值迭代算法获得整体用户满意度最大的网络任务分配策略,利用Q-learning算法得到近似最优策略。实验表明,相较于传统策略,所提策略整体用户满意度提高超过30%;在网络拥塞的环境下,可以有效降低对网络服务需求迫切用户服务请求的拒绝率。 展开更多
关键词 空天地一体化车载网络 无线网络管理 半马尔可夫决策过程 用户需求 Q-learning算法
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部