基于DQN的多智能体深度强化学习运动规划方法 被引量：10

1

作者 史殿习 彭滢璇 +3 位作者 杨焕焕 欧阳倩滢 张玉晖 郝锋 《计算机科学》 CSCD 北大核心 2024年第2期268-277,共10页

DQN方法作为经典的基于价值的深度强化学习方法,在多智能体运动规划等领域得到了广泛应用。然而,DQN方法面临一系列挑战,例如,DQN会过高估计Q值,计算Q值较为复杂,神经网络没有历史记忆能力,使用ε-greedy策略进行探索效率较低等。针对... DQN方法作为经典的基于价值的深度强化学习方法,在多智能体运动规划等领域得到了广泛应用。然而,DQN方法面临一系列挑战,例如,DQN会过高估计Q值,计算Q值较为复杂,神经网络没有历史记忆能力,使用ε-greedy策略进行探索效率较低等。针对这些问题,提出了一种基于DQN的多智能体深度强化学习运动规划方法,该方法可以帮助智能体学习到高效稳定的运动规划策略,无碰撞地到达目标点。首先,在DQN方法的基础上,提出了基于Dueling的Q值计算优化机制,将Q值的计算方式改进为计算状态值和优势函数值,并根据当前正在更新的Q值网络的参数选择最优动作,使得Q值的计算更加简单准确;其次,提出了基于GRU的记忆机制,引入了GRU模块,使得网络可以捕捉时序信息,具有处理智能体历史信息的能力;最后,提出了基于噪声的有效探索机制,通过引入参数化的噪声,改变了DQN中的探索方式,提高了智能体的探索效率,使得多智能体系统达到探索-利用的平衡状态。在PyBullet仿真平台的6种不同的仿真场景中进行了测试,实验结果表明,所提方法可以使多智能体团队进行高效协作,无碰撞地到达各自目标点,且策略训练过程稳定。 展开更多

关键词 多智能体系统 运动规划 深度强化学习 DQN方法

在线阅读 下载PDF 职称材料

基于观测重构的多智能体强化学习方法 被引量：2

2

作者 史殿习 胡浩萌 +4 位作者 宋林娜 杨焕焕 欧阳倩滢 谭杰夫 陈莹 《计算机科学》 CSCD 北大核心 2024年第4期280-290,共11页

共同知识是多智能体系统内众所周知的知识集。如何充分利用共同知识进行策略学习,是多智能体独立学习系统中的一个挑战性问题。针对这一问题,围绕共同知识提取和独立学习网络设计,提出了一种基于观测重构的多智能体强化学习方法IPPO-CKO... 共同知识是多智能体系统内众所周知的知识集。如何充分利用共同知识进行策略学习,是多智能体独立学习系统中的一个挑战性问题。针对这一问题,围绕共同知识提取和独立学习网络设计,提出了一种基于观测重构的多智能体强化学习方法IPPO-CKOR。首先,对智能体的观测信息进行共同知识特征的计算与融合,得到融合共同知识特征的观测信息;其次,采用基于共同知识的智能体选择算法,选择关系密切的智能体,并使用重构特征生成机制构建它们的特征信息,其与融合共同知识特征的观测信息组成重构观测信息,用于智能体策略的学习与执行;最后,设计了一个基于观测重构的独立学习网络,使用多头自注意力机制对重构观测信息进行处理,使用一维卷积和GRU层处理观测信息序列,使得智能体能够从观测信息序列中提取出更有效的特征,有效缓解了环境非平稳与部分可观测问题带来的影响。实验结果表明,相较于现有典型的采用独立学习的多智能体强化学习方法,所提方法在性能上有显著提升。 展开更多

关键词 观测重构 多智能体协作策略 多智能体强化学习 独立学习

在线阅读 下载PDF 职称材料

群体追逃微分博弈

3

作者 高红伟 孟斌斌 +1 位作者 刘剑 戴照鹏 《运筹学学报（中英文）》 CSCD 北大核心 2024年第3期46-62,共17页

本文以微分博弈和经典的追逃问题为主线,对群体追逃微分博弈的历史发展脉络进行梳理。针对大规模群体追逃问题,从平均场博弈视角出发,阐释了强化学习技术的应用前景。提出探索解决逆向追逃微分博弈的观点,可适用于水下无人舰艇、陆地机... 本文以微分博弈和经典的追逃问题为主线,对群体追逃微分博弈的历史发展脉络进行梳理。针对大规模群体追逃问题,从平均场博弈视角出发,阐释了强化学习技术的应用前景。提出探索解决逆向追逃微分博弈的观点,可适用于水下无人舰艇、陆地机器人以及空中无人机集群等同类场景。区别于其他综述性文章,作者对于俄罗斯以及苏联在本领域发展历史中代表性的学术流派给予了较多关注。 展开更多

关键词 追逃微分博弈 群体智能博弈 平均场博弈 逆向博弈 强化学习

在线阅读 下载PDF 职称材料

基于预训练大模型的行动方案生成方法 被引量：3

4

作者 颜玉松 周圆 +4 位作者 王琮 孔圣麒 王权 黎敏讷 王之元 《计算机科学》 北大核心 2025年第1期80-86,共7页

围绕生成式人工智能赋能指挥决策需求,分析了指挥决策中方案生成问题的难点挑战和新兴预训练大语言模型技术的应用前景,提出了一种基于预训练大模型的作战行动方案生成方法——COA-Gen。首先,为了使生成的行动方案符合目标,设计了多轮... 围绕生成式人工智能赋能指挥决策需求,分析了指挥决策中方案生成问题的难点挑战和新兴预训练大语言模型技术的应用前景,提出了一种基于预训练大模型的作战行动方案生成方法——COA-Gen。首先,为了使生成的行动方案符合目标,设计了多轮方案生成框架;其次,构建了多要素中文提示词模板用于整合海量多源信息;最后,针对特定小领域的数据缺乏问题,引入知识增强技术以提升大模型规划效能。为了验证所提行动方案的效果,制定了基于《星际争霸II》游戏引擎和“虎爪”想定的方案验证环境。实验结果表明,该方法具有较好的鲁棒性,可以较好地依从指挥员意图,验证了大模型用于作战行动方案生成的可行性。此外,不同预训练大模型在相同任务中展现出不同的效果,表明在实际应用中选择不同的预训练大模型可能会生成具有不同风格的行动方案,从而影响最终的行动结果。 展开更多

关键词 大模型 生成式人工智能 智能决策 指挥与控制 作战行动方案

在线阅读 下载PDF 职称材料

基于跨视图二部图图扩散的多视图聚类

5

作者 王劲夫 王思为 +2 位作者 梁伟轩 于胜举 祝恩 《计算机科学》 北大核心 2025年第7期69-74,共6页

多视图聚类是无监督学习领域的一个研究热点。最近,基于跨视图图扩散的方法有效利用了多个视图之间的互补信息,取得了较好的效果。但这类方法的时间和空间复杂度较高,限制了其在大规模数据集上的应用。针对此问题,提出基于二部图跨视图... 多视图聚类是无监督学习领域的一个研究热点。最近,基于跨视图图扩散的方法有效利用了多个视图之间的互补信息,取得了较好的效果。但这类方法的时间和空间复杂度较高,限制了其在大规模数据集上的应用。针对此问题,提出基于二部图跨视图图扩散的多视图聚类方法,成功将立方的时间复杂度和平方的空间复杂度降低至线性,从而可以高效地处理大规模聚类任务。使用二部图代替全图进行跨视图图扩散,并对基于全图的跨视图图扩散公式进行修改以适应二部图输入。在6个基准数据集上的实验结果表明,所提出的方法在聚类精度和运行效率方面比大多现有多视图聚类方法更具优势。在小规模数据集上,所提方法中的准确度等指标普遍高于对比算法5%以上;在大规模数据集上,所提方法的优势更加明显,其ACC和NMI等指标高于对比算法15%~30%。 展开更多

关键词 多视图聚类 跨视图图扩散 二部图 大规模数据集应用

在线阅读 下载PDF 职称材料

基于分布式AC强化学习的集群任务分配

6

作者 杨绍卿 左源 邓宝松 《火力与指挥控制》 北大核心 2025年第5期77-83,90,共8页

针对异构无人集群作战过程中的任务分配问题,提出一种基于分布式演员-评论家(actor-critic)强化学习网络的任务分配方法。设计由transformer与Deep LSTM网络构成的编码模块对输入态势进行预处理编码;采用LSTM作为动作模块,并使用网络级... 针对异构无人集群作战过程中的任务分配问题,提出一种基于分布式演员-评论家(actor-critic)强化学习网络的任务分配方法。设计由transformer与Deep LSTM网络构成的编码模块对输入态势进行预处理编码;采用LSTM作为动作模块,并使用网络级联方式实现复杂动作解耦,对异构作战单元实现动态任务指派;使用线性感知机组成评价模块输出状态价值。仿真实验表明,提出的方法能够有效地实现异构无人集群的作战任务分配,具备良好的实用性与适用性。 展开更多

关键词 任务分配 无人集群 强化学习 推演仿真

在线阅读 下载PDF 职称材料

结合离散差分进化的卫星三维组件分配与布局优化方法

7

作者 夏宇峰 陈献琪 +2 位作者 姚雯 张中能 周炜恩 《宇航学报》 北大核心 2025年第7期1274-1284,共11页

卫星三维组件分配与布局优化问题是一个具有复杂性能约束的混合变量优化问题,离散变量控制组件分配,而连续变量决定组件位置。首先构建了面向三维几何不干涉、质心和散热等复杂约束的混合整数非线性规划模型,提供了一种可行的求解途径... 卫星三维组件分配与布局优化问题是一个具有复杂性能约束的混合变量优化问题,离散变量控制组件分配,而连续变量决定组件位置。首先构建了面向三维几何不干涉、质心和散热等复杂约束的混合整数非线性规划模型,提供了一种可行的求解途径。然而,由于建模组件分配引入的非线性严重制约了模型的求解效率。为此,将原始的非线性优化问题重新组织为双层优化框架,通过解耦离散分配变量和连续位置变量,外层采用离散差分进化算法优化离散变量序列,内层通过数学规划求解器高效优化线性化后的连续变量。数值算例结果表明,该方法能在相同的时间内找到更优的布局设计方案,验证了其可行性和高效性。 展开更多

关键词 卫星 组件分配 布局优化 离散差分进化 混合整数规划

在线阅读 下载PDF 职称材料

基于MILP的轻量级密码算法ACE与SPIX的线性分析 被引量：1

8

作者 刘帅 任小广 +4 位作者 王世雄 关杰 张啸川 谭捷 王军 《电子学报》 EI CAS CSCD 北大核心 2024年第9期3065-3074,共10页

研究了轻量级密码算法ACE与SPIX的线性性质.给出了环型与门组合结构精确的混合整数线性规划下的线性性质刻画,并将算法ACE与SPIX的非线性操作转化为环型与门组合.基于此构建了ACE置换与SLISCP置换的混合整数线性规划下的线性模型,求解... 研究了轻量级密码算法ACE与SPIX的线性性质.给出了环型与门组合结构精确的混合整数线性规划下的线性性质刻画,并将算法ACE与SPIX的非线性操作转化为环型与门组合.基于此构建了ACE置换与SLISCP置换的混合整数线性规划下的线性模型,求解模型得到了2至4步ACE置换与2至5步SLISCP置换最优的线性迹.证明了7步、12步ACE置换分别达到了128比特与320比特的安全目标,7步、13步SLISCP置换分别达到了128比特与256比特的安全目标.对于任意步数的ACE置换与SLISCP置换,认证加密算法ACE-AE-128与SPIX均能够抵抗明文处理阶段的线性区分攻击. 展开更多

关键词 混合整数线性规划 约束求解 轻量级密码算法 线性分析

在线阅读 下载PDF 职称材料

高阶结构增强的跨视图无负样本对比的图异常检测算法

9

作者 金虎 胡婧韬 +3 位作者 王思为 祝恩 罗磊 段景灿 《计算机科学与探索》 CSCD 北大核心 2024年第10期2678-2689,共12页

图异常检测在网络安全、金融评估和医疗保健等多个领域都有广泛的实际应用。近年来,基于对比学习和基于生成重构的图异常检测算法框架取得了显著的性能提升。然而,大多数基于图神经网络的范式忽略了一个内在的缺点,即可能会无意识地将... 图异常检测在网络安全、金融评估和医疗保健等多个领域都有广泛的实际应用。近年来,基于对比学习和基于生成重构的图异常检测算法框架取得了显著的性能提升。然而,大多数基于图神经网络的范式忽略了一个内在的缺点,即可能会无意识地将异常节点与其邻域正常节点聚合在一起。此外,现有的检测算法缺乏对高阶结构信息的关注,导致正常节点与异常节点之间的判别性下降。为了改善以上缺点,提出了一种高阶结构增强的跨视图无负样本对比的图异常检测算法(CNCL-GAD)。与现有的单视图对比范式不同,提出了以高阶结构信息作为增强视图,通过多视图对比学习方法为图异常检测任务(GAD)引入更多、更丰富的判别信息。为了缓解图异常检测任务中正常样本与异常样本类别不平衡导致的对比负样本对大多数是同一类别的现象,提出了跨视图无负样本对比策略,即只将两个视图之间的正样本子图对拉近。将视图内节点-子图对比模块、属性重构模块和跨视图子图-子图对比模块联合训练,以获得更好的检测性能。在现有的公开数据集上进行了大量实验,与其他竞争算法相比,所提出的算法实现了有竞争力甚至更优越的性能。 展开更多

关键词 无负样本对比 图异常检测 高阶结构

在线阅读 下载PDF 职称材料

线缆长度驱动的两阶段热管约束组件布局优化方法 被引量：3

10

作者 陈献琪 周炜恩 +1 位作者 姚雯 夏宇峰 《宇航学报》 EI CAS CSCD 北大核心 2024年第6期842-853,共12页

针对航天器总体布局设计过程中需要考虑线缆长度的问题,提出一种以线缆长度最小化为目标的两阶段热管约束组件布局优化方法。面向几何、质心、热管散热以及线缆长度等多种复杂约束相互耦合的布局难题,基于分而治之的思想提出将原问题解... 针对航天器总体布局设计过程中需要考虑线缆长度的问题,提出一种以线缆长度最小化为目标的两阶段热管约束组件布局优化方法。面向几何、质心、热管散热以及线缆长度等多种复杂约束相互耦合的布局难题,基于分而治之的思想提出将原问题解耦为两个序贯优化子问题,通过构建并求解子问题的混合整数规划模型,实现了综合考虑多条线缆最短化目标下预埋热管舱板组件布局的高效优化设计。数值布局算例结果表明,在包含15个组件、3条有线信息链路的多种优化场景下,本方法均可以找到两级求解框架下的最优布局设计结果,充分验证了方法的可行性和有效性。 展开更多

关键词 航天器 组件布局优化 线缆长度 热管约束 混合整数规划

在线阅读 下载PDF 职称材料

基于伪标签的弱监督显著特征增强目标检测方法 被引量：1

11

作者 史殿习 刘洋洋 +3 位作者 宋林娜 谭杰夫 周晨磊 张轶 《计算机科学》 CSCD 北大核心 2024年第1期233-242,共10页

显著性目标检测旨在检测图像中最明显的区域。传统的基于单一标签的算法不可避免地受到所采用的细化算法的影响,表现出偏见特征,从而进一步影响了显著性网络的检测性能。针对这一问题,基于多指令滤波器结构,提出了一种基于伪标签的弱监... 显著性目标检测旨在检测图像中最明显的区域。传统的基于单一标签的算法不可避免地受到所采用的细化算法的影响,表现出偏见特征,从而进一步影响了显著性网络的检测性能。针对这一问题,基于多指令滤波器结构,提出了一种基于伪标签的弱监督显著特征增强目标检测方法FeaEM,通过从多个标签中集成更全面和准确的显著性线索,从而有效提升目标检测的性能。FeaEM方法的核心是引入一个新的多指令滤波器结构,利用多个伪标签来避免单一标签带来的负面影响;通过在指令滤波器中引入特征选择机制,从噪声伪标签中提取和过滤更准确的显著性线索,从而学习更多有效的具有代表性的特征;同时,针对现有的弱监督目标检测方法对输入图像的尺度十分敏感,同一图像的不同尺寸输入的预测结构存在较大偏差问题,通过引入尺度特征融合机制,以确保在输入不同尺寸的同一图像时,能输出一致的显著图,进而有效提高模型的尺度泛化能力。在多个数据集上进行的大量实验表明,所提出的FeaEM方法优于最具代表性的方法。 展开更多

关键词 深度学习 目标检测 显著性 伪标签 注意力机制

在线阅读 下载PDF 职称材料

深度学习赋能结构拓扑优化设计方法研究 被引量：1

12

作者 陈小前 张泽雨 +2 位作者 李昱 姚雯 周炜恩 《力学进展》 EI CSCD 北大核心 2024年第2期213-258,共46页

本文综合论述了近年来结构拓扑优化领域与深度学习技术交叉融合发展的相关研究进展.围绕结构拓扑优化设计的核心方法与关键环节,从深度学习赋能的角度系统性梳理了两大类赋能方法.研究指出,基于深度学习技术的结构优化设计全局代理模型... 本文综合论述了近年来结构拓扑优化领域与深度学习技术交叉融合发展的相关研究进展.围绕结构拓扑优化设计的核心方法与关键环节,从深度学习赋能的角度系统性梳理了两大类赋能方法.研究指出,基于深度学习技术的结构优化设计全局代理模型构建方法作为一种直接映射式结构设计方法,因其简单而典型的设计思想目前已被广泛研究,然而全局代理模型在计算性和泛化性上的局限与不足也尤为明显;融合深度学习技术的结构优化设计局部子环节加速与替代方法是一种更加灵活与多样的局部赋能形式,具有较好的普适性和独特的优越性.文章对智能赋能结构优化未来的发展进行了展望,研究重点在于深度学习与结构设计的有机结合方式,以及数据和知识的混合驱动设计范式. 展开更多

关键词 拓扑优化 深度学习 人工神经网络 代理模型

在线阅读 下载PDF 职称材料

Deep-Init:基于深度学习的视觉惯性里程计非联合初始化方法

13

作者 史殿习 高云琦 +3 位作者 宋林娜 刘哲 周晨磊 陈莹 《计算机科学》 CSCD 北大核心 2024年第7期327-336,共10页

对于非线性的单目VIO系统来说,其初始化过程至关重要,初始化结果的好坏直接影响整个系统运行过程中状态估计的精度。为此,将深度学习方法引入单目VIO系统的初始化过程中,提出了一种高效的非联合初始化方法(简称Deep-Init),其核心是使用... 对于非线性的单目VIO系统来说,其初始化过程至关重要,初始化结果的好坏直接影响整个系统运行过程中状态估计的精度。为此,将深度学习方法引入单目VIO系统的初始化过程中,提出了一种高效的非联合初始化方法(简称Deep-Init),其核心是使用深度神经网络对IMU中陀螺仪的偏置和噪声等随机误差项进行准确估计,得到初始化过程中的关键参数,即陀螺仪的bias;同时,将IMU预积分与SfM进行松耦合,通过位置和旋转对齐,使用最小二乘法对绝对尺度、速度以及重力矢量等进行快速恢复,并将其作为初始值来引导非线性紧密耦合的优化框架。由于深度神经网络对陀螺仪数据进行补偿,从而大大提高了IMU中旋转估计量的准确性,有效提高了IMU数据的信噪比,同时减少了最小二乘方程失效的次数,因此进一步减少了计算量。使用去除误差项的陀螺仪数据的预积分量替换SfM中的旋转量,将IMU的旋转量作为真值,不仅避免了将不准确的SfM值作为真值进行初始化时所带来的误差,有效提升了系统状态估计的精度,而且能够有效地适应高速运动、光照变换剧烈和纹理重复等SfM估计效果差的场景。在EuRoC数据集上,对所提方法的有效性了进行实验验证,实验结果表明,所提出的初始化方法Deep-Init无论是精度还是耗时均取得了良好的效果。 展开更多

关键词 视觉惯性里程计 深度学习 初始化 惯性测量单元

在线阅读 下载PDF 职称材料

混合模糊测试中混合符号执行优化策略评估与分析

14

作者 陶静 糜娴雅 +1 位作者 王宝生 王鹏飞 《国防科技大学学报》 EI CAS CSCD 北大核心 2023年第2期45-54,共10页

针对传统混合模糊测试提升技术多聚焦于利用多种动静态分析手段辅助而忽略了混合符号执行自身性能的问题,提出一种混合模糊测试平衡点模型,并基于该模型对主流混合符号执行方案进行剖析,包括污点分析辅助模糊测试、混合模糊测试以及混... 针对传统混合模糊测试提升技术多聚焦于利用多种动静态分析手段辅助而忽略了混合符号执行自身性能的问题,提出一种混合模糊测试平衡点模型,并基于该模型对主流混合符号执行方案进行剖析,包括污点分析辅助模糊测试、混合模糊测试以及混合符号执行,归纳了6种符号执行方案,基于混合符号执行引擎Triton复现了6种符号执行方案,并通过10个典型真实程序进行了测试评估。从效率、内存、覆盖率三个维度对各个方案进行性能对比与影响因素分析。实验证明,优化方案都可以消除不必要的约束并减少时间和空间开销,但约束缩减会造成信息丢失,造成覆盖率降低。基于实验数据分析,提出了一个优化方案的性能序列,并提出三种针对不同测试需求的优化方案。 展开更多

关键词 软件安全 软件漏洞挖掘 混合符号执行 混合模糊测试

在线阅读 下载PDF 职称材料