受限于模型方程决定的固定结构,传统四旋翼控制器设计难以有效应对模型参数和环境扰动变化带来的控制误差。提出了基于深度强化学习的四旋翼航迹跟踪控制方法,构建了对应的马尔可夫决策模型,并基于PPO框架提出了PPO-SAG(PPO with self a...受限于模型方程决定的固定结构,传统四旋翼控制器设计难以有效应对模型参数和环境扰动变化带来的控制误差。提出了基于深度强化学习的四旋翼航迹跟踪控制方法,构建了对应的马尔可夫决策模型,并基于PPO框架提出了PPO-SAG(PPO with self adaptive guide)算法。PPO-SAG在学习过程中加入自适应机制,利用PID专家知识进行引导和学习,提高了训练的收敛效果和稳定性。根据问题特点,设计了带有距离约束惩罚和熵策略的目标函数,提出扰动误差信息补充结构和航迹特征选择结构,补充控制误差信息、提取未来航迹关键要素,提高了收敛效果。并利用状态动态标准化、优势函数批标准化及奖励缩放策略,更合理地处理三维空间中的状态表征和奖励优势表达。单种航迹与混合航迹实验表明,所提出的PPO-SAG算法在收敛效果和稳定性上均取得了最好的效果,消融实验说明所提出的改进机制和结构均起到正向作用。所研究的未知扰动下基于深度强化学习的四旋翼航迹跟踪控制问题,为设计更加鲁棒高效的四旋翼控制器提供了解决方案。展开更多
基因调控网络是基于微阵列基因表达数据,对基因之间表达关系依赖程度的一种仿真或重建。从基因表达数据挖掘基因之间存在的一定程度因果关系,对重构基因调控网络具有十分重要的意义。提出一种基于频繁原子序列关联熵的基因关联分析算法...基因调控网络是基于微阵列基因表达数据,对基因之间表达关系依赖程度的一种仿真或重建。从基因表达数据挖掘基因之间存在的一定程度因果关系,对重构基因调控网络具有十分重要的意义。提出一种基于频繁原子序列关联熵的基因关联分析算法,通过基因关联熵有效识别基因之间的因果关系,并采用启发式搜索策略构建基因关联贝叶斯调控网络(gene association based Bayesian regulatory,GABR)。与基因贝叶斯网络描述基因表达水平值之间依赖关系不同,GABR是一种基因序列贝叶斯网络,基因关联分析对象是生物组织样本的基因表达值排序并置换为基因列下标所形成的序列。算法的优势在于基因变量取值原子序列,该基因为原子序列的结果,基因关联熵以及条件概率分布的计算更符合基因表达数据分析的生物本质特征。ALARM网络模拟数据的实验结果表明,基因关联分析算法性能明显优于同类算法。在酵母菌微阵列基因数据GDS2267和小鼠胚胎基因GSE76118等GEO数据集进行实验,测试结果表明GABR方法重构的基因调控网络具有较高的有效性和鲁棒性。展开更多
数据集中处理的云计算模式提供交互迅速、绿色高效的多样化应用服务面临新挑战.将云计算能力扩展到边缘设备,提出了边云协同计算框架;设计了基于任务预测的资源部署算法,在云服务中心通过二维时间序列对任务进行预测,结合分类聚合、延...数据集中处理的云计算模式提供交互迅速、绿色高效的多样化应用服务面临新挑战.将云计算能力扩展到边缘设备,提出了边云协同计算框架;设计了基于任务预测的资源部署算法,在云服务中心通过二维时间序列对任务进行预测,结合分类聚合、延迟阈值判定等优化边缘服务器任务运行所需资源部署;提出了基于帕累托优化的任务调度算法,在边缘服务器分2个阶段进行帕累托渐进比较得到用户服务质量和系统服务效应2个目标曲线的相切点或任一相交点以优化任务调度.实验结果表明:结合基于任务预测的资源部署算法与基于帕累托优化的任务调度算法在提高平均用户任务命中率基础上,其用户平均服务完成时间、系统整体服务效应度、总任务延迟率在不同用户任务规模、不同Zipf分布参数α的应用场景下,均优于基于帕累托优化的任务调度算法和基于FIFO(first input first output)的基准任务调度算法.展开更多
文摘受限于模型方程决定的固定结构,传统四旋翼控制器设计难以有效应对模型参数和环境扰动变化带来的控制误差。提出了基于深度强化学习的四旋翼航迹跟踪控制方法,构建了对应的马尔可夫决策模型,并基于PPO框架提出了PPO-SAG(PPO with self adaptive guide)算法。PPO-SAG在学习过程中加入自适应机制,利用PID专家知识进行引导和学习,提高了训练的收敛效果和稳定性。根据问题特点,设计了带有距离约束惩罚和熵策略的目标函数,提出扰动误差信息补充结构和航迹特征选择结构,补充控制误差信息、提取未来航迹关键要素,提高了收敛效果。并利用状态动态标准化、优势函数批标准化及奖励缩放策略,更合理地处理三维空间中的状态表征和奖励优势表达。单种航迹与混合航迹实验表明,所提出的PPO-SAG算法在收敛效果和稳定性上均取得了最好的效果,消融实验说明所提出的改进机制和结构均起到正向作用。所研究的未知扰动下基于深度强化学习的四旋翼航迹跟踪控制问题,为设计更加鲁棒高效的四旋翼控制器提供了解决方案。
文摘基因调控网络是基于微阵列基因表达数据,对基因之间表达关系依赖程度的一种仿真或重建。从基因表达数据挖掘基因之间存在的一定程度因果关系,对重构基因调控网络具有十分重要的意义。提出一种基于频繁原子序列关联熵的基因关联分析算法,通过基因关联熵有效识别基因之间的因果关系,并采用启发式搜索策略构建基因关联贝叶斯调控网络(gene association based Bayesian regulatory,GABR)。与基因贝叶斯网络描述基因表达水平值之间依赖关系不同,GABR是一种基因序列贝叶斯网络,基因关联分析对象是生物组织样本的基因表达值排序并置换为基因列下标所形成的序列。算法的优势在于基因变量取值原子序列,该基因为原子序列的结果,基因关联熵以及条件概率分布的计算更符合基因表达数据分析的生物本质特征。ALARM网络模拟数据的实验结果表明,基因关联分析算法性能明显优于同类算法。在酵母菌微阵列基因数据GDS2267和小鼠胚胎基因GSE76118等GEO数据集进行实验,测试结果表明GABR方法重构的基因调控网络具有较高的有效性和鲁棒性。
文摘数据集中处理的云计算模式提供交互迅速、绿色高效的多样化应用服务面临新挑战.将云计算能力扩展到边缘设备,提出了边云协同计算框架;设计了基于任务预测的资源部署算法,在云服务中心通过二维时间序列对任务进行预测,结合分类聚合、延迟阈值判定等优化边缘服务器任务运行所需资源部署;提出了基于帕累托优化的任务调度算法,在边缘服务器分2个阶段进行帕累托渐进比较得到用户服务质量和系统服务效应2个目标曲线的相切点或任一相交点以优化任务调度.实验结果表明:结合基于任务预测的资源部署算法与基于帕累托优化的任务调度算法在提高平均用户任务命中率基础上,其用户平均服务完成时间、系统整体服务效应度、总任务延迟率在不同用户任务规模、不同Zipf分布参数α的应用场景下,均优于基于帕累托优化的任务调度算法和基于FIFO(first input first output)的基准任务调度算法.
