未来天基信息网络(space information network,SIN)领域将面临由结构复杂、环境动态、业务多样等发展趋势带来的挑战。数据驱动的深度强化学习(deep reinforcement learning,DRL)作为一种应对上述挑战的可行思路被引入SIN领域。首先简...未来天基信息网络(space information network,SIN)领域将面临由结构复杂、环境动态、业务多样等发展趋势带来的挑战。数据驱动的深度强化学习(deep reinforcement learning,DRL)作为一种应对上述挑战的可行思路被引入SIN领域。首先简要介绍了DRL的基本方法,并全面回顾了其在SIN领域的研究进展。随后,以星地网络场景的中继选择为例,针对大规模节点问题提出了基于平均场的DRL算法,并提出一种基于微调的模型迁移机制,用以解决仿真环境与真实环境之间的数据差异问题。仿真证明了其对网络性能优化的效果,且计算复杂度和时间效率均具有可行性。在此基础上归纳和总结了DRL方法在SIN领域的局限性与面临的挑战。最后,结合强化学习前沿进展,讨论了此领域未来的努力方向。展开更多
基金863 program(No.2012AA011301)973 program(No.2010CB328204)+4 种基金NSFC project(Nos.61271189,61201154,60932004)RFDP Project(No.20120005120019)the Fundamental Research Funds for the Central Universities(No.2013RC1201)BUPT Excellent Ph.D.Students Foundation(No.CX201332)Fund of State Key Laboratory of Information Photonics and Optical Communications(BUPT)
文摘未来天基信息网络(space information network,SIN)领域将面临由结构复杂、环境动态、业务多样等发展趋势带来的挑战。数据驱动的深度强化学习(deep reinforcement learning,DRL)作为一种应对上述挑战的可行思路被引入SIN领域。首先简要介绍了DRL的基本方法,并全面回顾了其在SIN领域的研究进展。随后,以星地网络场景的中继选择为例,针对大规模节点问题提出了基于平均场的DRL算法,并提出一种基于微调的模型迁移机制,用以解决仿真环境与真实环境之间的数据差异问题。仿真证明了其对网络性能优化的效果,且计算复杂度和时间效率均具有可行性。在此基础上归纳和总结了DRL方法在SIN领域的局限性与面临的挑战。最后,结合强化学习前沿进展,讨论了此领域未来的努力方向。
