-
题名基于改进深度强化学习的虚拟网络功能部署优化算法
被引量：7
- 1
-
-
作者
唐伦
贺兰钦
连沁怡
谭颀
-
机构
重庆邮电大学通信与信息工程学院
重庆邮电大学移动通信技术重点实验室
三峡大学国际交流学院
-
出处
《电子与信息学报》
EI
CSCD
北大核心
2021年第6期1724-1732,共9页
-
基金
国家自然科学基金(62071078)
重庆市教委科学技术研究项目(KJZD-M201800601)
重庆市重大主题专项(cstc2019jscxzdztzxX0006)。
-
文摘
针对网络功能虚拟化/软件定义网络(NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法。首先,建立了马尔科夫决策过程(MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束。其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,该文提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略。最后,针对深度强化学习代理通过ε贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题。仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延。
-
关键词
虚拟网络功能
深度强化学习
服务功能链端到端时延
服务功能链部署成本
-
Keywords
Virtual Network Function(VNF)
Deep reinforcement learning
Service Function Chain(SFC)end-to-end delay
Service Function Chain(SFC)placement cost
-
分类号
TN929.5
[电子电信—通信与信息系统]
-
