为了解决多路传输中子流耦合感知缺乏与传输控制效率低下等的问题,针对未来异构、动态的网络环境,提出了一种基于耦合感知与深度Q网络的多路传输控制机制(WaveLet and Deep Q Network based multipath transmission control mechanism,W...为了解决多路传输中子流耦合感知缺乏与传输控制效率低下等的问题,针对未来异构、动态的网络环境,提出了一种基于耦合感知与深度Q网络的多路传输控制机制(WaveLet and Deep Q Network based multipath transmission control mechanism,WL-DQN).利用小波去噪技术,消除子流单向传输时延中由非耦合路段及系统随机产生的噪声,并基于子流互相关系数对子流耦合特性进行提取;在此基础上,依据深度增强学习理论对多路传输控制进行建模,并提出多路DQN拥塞控制算法,实现了异构、动态网络环境下的智能多路拥塞控制.仿真结果表明,所提算法在传输吞吐量、传输时延、数据包重传避免等方面均优于标准及相似的代表性解决方案.展开更多
智能化地制定机器人流程自动化(robotic process automation, RPA)执行路径有利于企业节约相关人力成本以及提高RPA的推广,提出基于改进深度双Q网络(double deep Q-learning algorithms, DDQN)算法进行RPA路径规划。首先针对存在RPA的...智能化地制定机器人流程自动化(robotic process automation, RPA)执行路径有利于企业节约相关人力成本以及提高RPA的推广,提出基于改进深度双Q网络(double deep Q-learning algorithms, DDQN)算法进行RPA路径规划。首先针对存在RPA的作业环境即Web页面,不满足深度增强算法的探索条件的问题,借助隐喻地图的思想,通过构建虚拟环境来满足路径规划实验要求。同时为了提高DDQN算法探索效率,提出利用样本之间的位置信息的杰卡德系数,将其作为样本优先度结合基于排名的优先级(rank-based prioritization)构建新的采样方式。通过随机采用任务样本在虚拟环境上进行验证,证明其符合实验要求。进一步比较改进DDQN、深度Q网络(deep Q network, DQN)、DDQN、PPO以及SAC-Discrete算法的实验结果,结果显示改进算法的迭代次数更少、收敛速度更快以及回报值更高,验证了改进DDQN的有效性和可行性。展开更多
文摘为了解决多路传输中子流耦合感知缺乏与传输控制效率低下等的问题,针对未来异构、动态的网络环境,提出了一种基于耦合感知与深度Q网络的多路传输控制机制(WaveLet and Deep Q Network based multipath transmission control mechanism,WL-DQN).利用小波去噪技术,消除子流单向传输时延中由非耦合路段及系统随机产生的噪声,并基于子流互相关系数对子流耦合特性进行提取;在此基础上,依据深度增强学习理论对多路传输控制进行建模,并提出多路DQN拥塞控制算法,实现了异构、动态网络环境下的智能多路拥塞控制.仿真结果表明,所提算法在传输吞吐量、传输时延、数据包重传避免等方面均优于标准及相似的代表性解决方案.
