基于深度强化学习理论框架,提出分层递进式解决方案。首先,构建融合边缘计算节点的异构数据传输架构,建立具有时变特征的多维状态空间马尔可夫决策过程。其次,在传统深度Q网络(deep Qlearning network,DQN)算法中嵌入熵正则化约束项,结...基于深度强化学习理论框架,提出分层递进式解决方案。首先,构建融合边缘计算节点的异构数据传输架构,建立具有时变特征的多维状态空间马尔可夫决策过程。其次,在传统深度Q网络(deep Qlearning network,DQN)算法中嵌入熵正则化约束项,结合同策略经验回放机制,形成增强型ESERDQN(improved DQN algorithm based on entropy and same-strategy experience replay)优化器。最终,设计五维评估指标体系(收敛速率、累积奖励值、能耗、传输时延、传输成本),开展多算法对比实验。仿真结果表明,ESERDQN在1500训练周期内达成稳定收敛,较基准贪心算法、随机算法、DDPG算法及PPO分别提升收敛速度49.2%、41.7%、30.1%和13.3%;在综合业务指标方面,其单位能耗成本降低27.8%,关键任务时延控制在12.3 ms以内,验证了所提方法在智慧城市复杂传输场景下的技术优越性。展开更多
随着网络技术的不断发展,基于Fat-Tree的网络拓扑结构分布式网络控制模式逐渐显露出其局限性,软件定义数据中心网络(software-defined data center network,SDCN)技术作为Fat-Tree网络拓扑的改进技术,受到越来越多研究者的关注。首先搭...随着网络技术的不断发展,基于Fat-Tree的网络拓扑结构分布式网络控制模式逐渐显露出其局限性,软件定义数据中心网络(software-defined data center network,SDCN)技术作为Fat-Tree网络拓扑的改进技术,受到越来越多研究者的关注。首先搭建了一个SDCN中的边缘计算架构和基于移动边缘计算(mobileedge computing,MEC)平台三层服务架构的任务卸载模型,结合移动边缘计算平台的实际应用场景,利用同策略经验回放和熵正则改进传统的深度Q网络(deep Q-leaning network,DQN)算法,优化了MEC平台的任务卸载策略,并设计了实验对基于同策略经验回放和熵正则的改进深度Q网络算法(improved DQN algorithm based on same strategy empirical playback and entropy regularization,RSS2E-DQN)和其他3种算法在负载均衡、能耗、时延、网络使用量几个方面进行对比分析,验证了改进算法在上述4个方面具有更优越的性能。展开更多
文摘基于深度强化学习理论框架,提出分层递进式解决方案。首先,构建融合边缘计算节点的异构数据传输架构,建立具有时变特征的多维状态空间马尔可夫决策过程。其次,在传统深度Q网络(deep Qlearning network,DQN)算法中嵌入熵正则化约束项,结合同策略经验回放机制,形成增强型ESERDQN(improved DQN algorithm based on entropy and same-strategy experience replay)优化器。最终,设计五维评估指标体系(收敛速率、累积奖励值、能耗、传输时延、传输成本),开展多算法对比实验。仿真结果表明,ESERDQN在1500训练周期内达成稳定收敛,较基准贪心算法、随机算法、DDPG算法及PPO分别提升收敛速度49.2%、41.7%、30.1%和13.3%;在综合业务指标方面,其单位能耗成本降低27.8%,关键任务时延控制在12.3 ms以内,验证了所提方法在智慧城市复杂传输场景下的技术优越性。
文摘随着网络技术的不断发展,基于Fat-Tree的网络拓扑结构分布式网络控制模式逐渐显露出其局限性,软件定义数据中心网络(software-defined data center network,SDCN)技术作为Fat-Tree网络拓扑的改进技术,受到越来越多研究者的关注。首先搭建了一个SDCN中的边缘计算架构和基于移动边缘计算(mobileedge computing,MEC)平台三层服务架构的任务卸载模型,结合移动边缘计算平台的实际应用场景,利用同策略经验回放和熵正则改进传统的深度Q网络(deep Q-leaning network,DQN)算法,优化了MEC平台的任务卸载策略,并设计了实验对基于同策略经验回放和熵正则的改进深度Q网络算法(improved DQN algorithm based on same strategy empirical playback and entropy regularization,RSS2E-DQN)和其他3种算法在负载均衡、能耗、时延、网络使用量几个方面进行对比分析,验证了改进算法在上述4个方面具有更优越的性能。
