在卫星网络中,受地理位置及人们生活习惯等因素影响,卫星覆盖区域内用户的需求差异会造成卫星网络负载不均衡。针对这一问题,提出了一种基于卷积双延迟深度确定性策略梯度的多路径路由算法(Convolutional Twin Delayed Deep Determinist...在卫星网络中,受地理位置及人们生活习惯等因素影响,卫星覆盖区域内用户的需求差异会造成卫星网络负载不均衡。针对这一问题,提出了一种基于卷积双延迟深度确定性策略梯度的多路径路由算法(Convolutional Twin Delayed Deep Deterministic Policy Gradient Multipath Routing,CTD3-MR)。该算法在软件定义网络(Software Defined Network,SDN)结构下,将CTD3作为智能体部署在控制器中,并将动态变化的链路剩余带宽、传输时延、丢包率和时空等级作为网络状态输入智能体进行训练,输出动作为网络链路的权值,使用最大链路带宽利用率、平均端到端时延和网络丢包率的加权和作为奖励函数来调整动作。智能体训练收敛后,控制器根据智能体输出的网络链路权重得到k-最短路径,把路径权重比作为路径流量分配比率,生成最优路由策略转发至卫星进行多路径传输。最后将CTD3-MR与TD3,TMR和ECMP路由算法进行比较,实验结果表明,CTD3-MR相较于其他路由算法,平均端到端时延至少缩短了7.64%,丢包率降低了28.65%,最大链路带宽利用率降低了11.44%,流量分布指数提高了5.82%,提高了网络负载均衡性能。展开更多
