边缘计算允许物联网设备卸载任务到边云环境中执行,以满足任务对资源的需求。由于边云环境的高度随机性和动态性,启发式算法和基于Q表格的强化学习算法难以实现异构任务的高效卸载决策,所以提出了一个新颖的竞争和双深度Q网络(novel due...边缘计算允许物联网设备卸载任务到边云环境中执行,以满足任务对资源的需求。由于边云环境的高度随机性和动态性,启发式算法和基于Q表格的强化学习算法难以实现异构任务的高效卸载决策,所以提出了一个新颖的竞争和双深度Q网络(novel dueling and double deep Q network,ND3QN)的深度强化学习算法,用于任务高效卸载和资源分配。ND3QN联合优化任务完成时间和费用,并创新地构建了包含环境动态信息的状态;设计了能有效指导算法训练的奖励函数;实现了细粒度卸载,即任务卸载到服务器的虚拟机。实验结果表明,ND3QN在不同探索率和学习率下的收敛速度和收敛值存在明显差异,且在任务丢弃率、完成时间和费用等方面优于基线算法;消融实验证明了状态和奖励函数改进的有效性。因此,ND3QN可有效提升边云环境中的任务卸载和资源分配效率。展开更多
文摘边缘计算允许物联网设备卸载任务到边云环境中执行,以满足任务对资源的需求。由于边云环境的高度随机性和动态性,启发式算法和基于Q表格的强化学习算法难以实现异构任务的高效卸载决策,所以提出了一个新颖的竞争和双深度Q网络(novel dueling and double deep Q network,ND3QN)的深度强化学习算法,用于任务高效卸载和资源分配。ND3QN联合优化任务完成时间和费用,并创新地构建了包含环境动态信息的状态;设计了能有效指导算法训练的奖励函数;实现了细粒度卸载,即任务卸载到服务器的虚拟机。实验结果表明,ND3QN在不同探索率和学习率下的收敛速度和收敛值存在明显差异,且在任务丢弃率、完成时间和费用等方面优于基线算法;消融实验证明了状态和奖励函数改进的有效性。因此,ND3QN可有效提升边云环境中的任务卸载和资源分配效率。
