检索结果-维普期刊中文期刊服务平台

面向强化学习的可解释性研究综述被引量：8: 1; 作者曹宏业刘潇 +4 位作者董绍康杨尚东霍静李文斌高阳《计算机学报》 EI CAS CSCD 北大核心 2024年第8期1853-1882,共30页; 强化学习作为机器学习的一种范式,因其强大的策略试错学习能力,受到关注.随着深度学习的融入,强化学习方法在许多复杂的控制任务中取得了巨大成功.然而,深度强化学习网络作为黑盒模型,其缺乏可解释性所带来的不安全、不可控及难理解等... 展开更多; 关键词强化学习可解释性机器学习人工智能马尔可夫决策过程; 在线阅读下载PDF 职称材料

强化学习的可解释方法分类研究被引量：3: 2; 作者唐蕾牛园园 +2 位作者王瑞杰行本贝王一婷《计算机应用研究》 CSCD 北大核心 2024年第6期1601-1609,共9页; 强化学习能够在动态复杂环境中实现自主学习,这使其在法律、医学、金融等领域有着广泛应用。但强化学习仍面临着全局状态空间不可观测、对奖励函数强依赖和因果关系不确定等诸多问题,导致其可解释性弱,严重影响其在相关领域的推广,会遭... 展开更多; 关键词强化学习可解释性策略-值函数环境交互视觉解释; 在线阅读下载PDF 职称材料

基于梯度的深度强化学习解释方法被引量：1: 3; 作者王远徐琳 +2 位作者宫小泽张永亮王永利《系统仿真学报》 CAS CSCD 北大核心 2024年第5期1130-1140,共11页; DQN等深度强化学习方法的学习过程与工作机制不透明,无法感知其决策依据与决策可靠性,使模型做出的决策饱受质疑,极大限制了深度强化学习的应用场景。为了解释智能体的决策机理,提出一种基于梯度的显著性图生成算法(saliency map genera... 展开更多; 关键词深度强化学习显著性图可解释性智能体梯度; 在线阅读下载PDF 职称材料

强化学习可解释性基础问题探索和方法综述被引量：21: 4; 作者刘潇刘书洋 +1 位作者庄韫恺高阳《软件学报》 EI CSCD 北大核心 2023年第5期2300-2316,共17页; 强化学习是一种从试错过程中发现最优行为策略的技术,已经成为解决环境交互问题的通用方法.然而,作为一类机器学习算法,强化学习也面临着机器学习领域的公共难题,即难以被人理解.缺乏可解释性限制了强化学习在安全敏感领域中的应用,如... 展开更多; 关键词强化学习可解释性(xrl) 人工智能可解释性(XAI) 机器学习(ML) 人工智能(AI); 在线阅读下载PDF 职称材料

基于深度强化学习的航天器功率信号复合网络优化算法被引量：1: 5; 作者张庭瑜曾颖 +1 位作者李楠黄洪钟《系统工程与电子技术》 EI CSCD 北大核心 2024年第9期3060-3069,共10页; 为了实现航天器电源系统的灵活高效并网,最大化有限能量的利用,提出一种基于深度强化学习(deep reinforcement learning,DRL)的功率传输与信号传输复合网络拓扑优化模型,并使用知识蒸馏原理的多种可解释组件模型对优化过程进行剖析。首... 展开更多; 关键词空间电源系统复杂网络深度强化学习可靠性优化可解释性分析; 在线阅读下载PDF 职称材料

结构交互驱动的机器人深度强化学习控制方法被引量：6: 6; 作者余超董银昭 +3 位作者郭宪冯旸赫卓汉逵张强《软件学报》 EI CSCD 北大核心 2023年第4期1749-1764,共16页; 针对深度强化学习在高维机器人行为控制中训练效率低下和策略不可解释等问题,提出一种基于结构交互驱动的机器人深度强化学习方法(structure-motivated interactive deep reinforcement learning, SMILE).首先,利用结构分解方法将高维... 展开更多; 关键词机器人控制深度强化学习结构分解可解释性; 在线阅读下载PDF 职称材料

显式知识推理和深度强化学习结合的动态决策被引量：3: 7; 作者张昊迪陈振浩 +4 位作者陈俊扬周熠连德富伍楷舜林方真《软件学报》 EI CSCD 北大核心 2023年第8期3821-3835,共15页; 近年来,深度强化学习在序列决策领域被广泛应用并且效果良好,尤其在具有高维输入、大规模状态空间的应用场景中优势明显.然而,深度强化学习相关方法也存在一些局限,如缺乏可解释性、初期训练低效与冷启动等问题.针对这些问题,提出了一... 展开更多; 关键词知识表示与推理可解释性深度强化学习动态序列决策; 在线阅读下载PDF 职称材料

题名面向强化学习的可解释性研究综述被引量：8: 1; 作者曹宏业刘潇董绍康杨尚东霍静李文斌高阳; 机构计算机软件新技术全国重点实验室(南京大学) 湘潭大学自动化与电子信息学院南京邮电大学计算机学院; 出处《计算机学报》 EI CAS CSCD 北大核心 2024年第8期1853-1882,共30页; 基金科技创新2030—“新一代人工智能”重大项目(2021ZD0113303) 国家自然科学基金(62192783,62276128,62276142,62206133) 南京大学计算机软件新技术国家重点实验室资助项目(KFKT2022B12)资助。; 文摘强化学习作为机器学习的一种范式,因其强大的策略试错学习能力,受到关注.随着深度学习的融入,强化学习方法在许多复杂的控制任务中取得了巨大成功.然而,深度强化学习网络作为黑盒模型,其缺乏可解释性所带来的不安全、不可控及难理解等问题限制了强化学习在诸如自动驾驶、智慧医疗等关键领域中的发展.为了解决这一问题,科研人员开展了对强化学习可解释性的研究.然而,这些研究开展相对较晚,且缺少针对多智能体强化学习可解释性方法的系统性总结,同时,可解释性的定义存在人为主观性,导致系统性面向强化学习过程的可解释性研究较为困难.本文对当前强化学习的可解释性研究工作进行了全面的整理与总结.首先,对强化学习的可解释性进行定义并总结了相关评估方法.随后,基于马尔可夫决策过程,划分了行为级解释、特征级解释、奖励级解释及策略级解释四个类别.此外,在每个类别中,分析了单智能体及多智能体的策略解释方法,并特别关注可解释性研究中的人为因素,描述了人机交互式的解释方法.最后,对当前强化学习可解释性研究面临的挑战以及未来的研究方向进行总结与展望.; 关键词强化学习可解释性机器学习人工智能马尔可夫决策过程; Keywords reinforcement learning interpretability machine learning artificial intelligence Markov decision process; 分类号 TP18 [自动化与计算机技术—控制理论与控制工程]; 在线阅读下载PDF 职称材料

题名强化学习的可解释方法分类研究被引量：3: 2; 作者唐蕾牛园园王瑞杰行本贝王一婷; 机构长安大学信息工程学院; 出处《计算机应用研究》 CSCD 北大核心 2024年第6期1601-1609,共9页; 文摘强化学习能够在动态复杂环境中实现自主学习,这使其在法律、医学、金融等领域有着广泛应用。但强化学习仍面临着全局状态空间不可观测、对奖励函数强依赖和因果关系不确定等诸多问题,导致其可解释性弱,严重影响其在相关领域的推广,会遭遇诸如难以判断决策是否违反社会法律道德的要求,是否准确及值得信任等的限制。为了进一步了解强化学习可解释性研究现状,从可解释模型、可解释策略、环境交互、可视化等方面展开讨论。基于此,对强化学习可解释性研究现状进行系统论述,对其可解释方法进行归类阐述,最后提出强化学习可解释性的未来发展方向。; 关键词强化学习可解释性策略-值函数环境交互视觉解释; Keywords reinforcement learning interpretability strategy-value functions environment interaction visual interpretation; 分类号 TP309 [自动化与计算机技术—计算机系统结构]; 在线阅读下载PDF 职称材料

题名基于梯度的深度强化学习解释方法被引量：1: 3; 作者王远徐琳宫小泽张永亮王永利; 机构南京理工大学计算机科学与工程学院信息系统工程重点实验室 [ 陆军工程大学指挥控制工程学院; 出处《系统仿真学报》 CAS CSCD 北大核心 2024年第5期1130-1140,共11页; 基金国家自然科学基金(61941113) 信息系统工程重点实验室开放基金(05202104)。; 文摘 DQN等深度强化学习方法的学习过程与工作机制不透明,无法感知其决策依据与决策可靠性,使模型做出的决策饱受质疑,极大限制了深度强化学习的应用场景。为了解释智能体的决策机理,提出一种基于梯度的显著性图生成算法(saliency map generation algorithm based on gradient,SMGG)。使用高层卷积层生成的特征图梯度信息计算不同特征图的重要性,在模型的结构和内部参数已知的情况下,从模型最后一层入手,通过对特征图梯度的计算,生成不同特征图相对于显著性图的权重;对特征重要性进行正向和负向分类,利用有正向影响的权值将特征图中捕获的特征进行加权,构成当前决策的正向解释;利用对其他类别有负向影响的权值将特征图中捕获的特征进行加权,构成当前决策的反向解释。二者共同生成决策的显著性图,得出智能体决策行为的依据,实验证明了该方法的有效性。; 关键词深度强化学习显著性图可解释性智能体梯度; Keywords DRL saliency map interpretability agent gradient; 分类号 TP391.9 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名强化学习可解释性基础问题探索和方法综述被引量：21: 4; 作者刘潇刘书洋庄韫恺高阳; 机构计算机软件新技术国家重点实验室(南京大学); 出处《软件学报》 EI CSCD 北大核心 2023年第5期2300-2316,共17页; 基金科技创新2030—“新一代人工智能”重大项目(2018AAA0100900)。; 文摘强化学习是一种从试错过程中发现最优行为策略的技术,已经成为解决环境交互问题的通用方法.然而,作为一类机器学习算法,强化学习也面临着机器学习领域的公共难题,即难以被人理解.缺乏可解释性限制了强化学习在安全敏感领域中的应用,如医疗、驾驶等,并导致强化学习在环境仿真、任务泛化等问题中缺乏普遍适用的解决方案.为了克服强化学习的这一弱点,涌现了大量强化学习可解释性(explainable reinforcement learning,XRL)的研究.然而,学术界对XRL尚缺乏一致认识.因此,探索XRL的基础性问题,并对现有工作进行综述.具体而言,首先探讨父问题——人工智能可解释性,对人工智能可解释性的已有定义进行了汇总;其次,构建一套可解释性领域的理论体系,从而描述XRL与人工智能可解释性的共同问题,包括界定智能算法和机械算法、定义解释的含义、讨论影响可解释性的因素、划分解释的直观性;然后,根据强化学习本身的特征,定义XRL的3个独有问题,即环境解释、任务解释、策略解释;之后,对现有方法进行系统地归类,并对XRL的最新进展进行综述;最后,展望XRL领域的潜在研究方向.; 关键词强化学习可解释性(xrl) 人工智能可解释性(XAI) 机器学习(ML) 人工智能(AI); Keywords explainable reinforcement learning(xrl) explainable artificial intelligence(XAI) machine learning(ML) artificial intelligence(AI); 分类号 TP181 [自动化与计算机技术—控制理论与控制工程]; 在线阅读下载PDF 职称材料

题名基于深度强化学习的航天器功率信号复合网络优化算法被引量：1: 5; 作者张庭瑜曾颖李楠黄洪钟; 机构电子科技大学机械与电气工程学院电子科技大学系统可靠性与安全性研究中心中国电子科技集团公司第三研究所; 出处《系统工程与电子技术》 EI CSCD 北大核心 2024年第9期3060-3069,共10页; 基金中央高校基本科研业务费项目(ZYGX2020ZB023)资助课题。; 文摘为了实现航天器电源系统的灵活高效并网,最大化有限能量的利用,提出一种基于深度强化学习(deep reinforcement learning,DRL)的功率传输与信号传输复合网络拓扑优化模型,并使用知识蒸馏原理的多种可解释组件模型对优化过程进行剖析。首先,分析在轨运行阶段航天器母线电压调节控制域变换规律,并结合节点传播性参数,建立功率传输与信号通信的复合网络拓扑模型。然后,利用A3C(asynchronous advantage actor-critic)算法,对信号传输网络路由分布、拓扑结构等方面潜在的运行可靠性风险进行自适应性优化。最后,结合多种可解释组件对已训练的DRL模型进行知识蒸馏,形成一种可解释的量化分析方法。所提方法可以指导空间电源在随机阴影影响下选择最佳并网方案,并为更高任务要求和复杂环境下空间电源控制器设计提供理论支持。; 关键词空间电源系统复杂网络深度强化学习可靠性优化可解释性分析; Keywords space power system complex network theory deep reinforcement learning(DRL) reliability optimization interpretable analysis; 分类号 V423 [航空宇航科学与技术—飞行器设计]; 在线阅读下载PDF 职称材料

题名结构交互驱动的机器人深度强化学习控制方法被引量：6: 6; 作者余超董银昭郭宪冯旸赫卓汉逵张强; 机构中山大学计算机学院大连理工大学计算机科学与技术学院南开大学人工智能学院国防科技大学系统工程学院; 出处《软件学报》 EI CSCD 北大核心 2023年第4期1749-1764,共16页; 基金国家自然科学基金(U1908214,62076259) 腾讯犀牛鸟基金(JR202063)。; 文摘针对深度强化学习在高维机器人行为控制中训练效率低下和策略不可解释等问题,提出一种基于结构交互驱动的机器人深度强化学习方法(structure-motivated interactive deep reinforcement learning, SMILE).首先,利用结构分解方法将高维的单机器人控制问题转化为低维的多关节控制器协同学习问题,从而缓解连续运动控制的维度灾难难题;其次,通过两种协同图模型(ATTENTION和PODT)动态推理控制器之间的关联关系,实现机器人内部关节的信息交互和协同学习;最后,为了平衡ATTENTION和PODT协同图模型的计算复杂度和信息冗余度,进一步提出两种协同图模型更新方法 APDODT和PATTENTION,实现控制器之间长期关联关系和短期关联关系的动态自适应调整.实验结果表明,基于结构驱动的机器人强化学习方法能显著提升机器人控制策略学习效率.此外,基于协同图模型的关系推理及协同机制,可为最终学习策略提供更为直观和有效的解释.; 关键词机器人控制深度强化学习结构分解可解释性; Keywords robotic control deep reinforcement learning structural decomposition interpretation; 分类号 TP18 [自动化与计算机技术—控制理论与控制工程]; 在线阅读下载PDF 职称材料

题名显式知识推理和深度强化学习结合的动态决策被引量：3: 7; 作者张昊迪陈振浩陈俊扬周熠连德富伍楷舜林方真; 机构深圳大学计算机与软件学院上海脑科学与类脑研究中心中国科学技术大学计算机科学与技术学院香港科技大学计算机科学与工程系; 出处《软件学报》 EI CSCD 北大核心 2023年第8期3821-3835,共15页; 基金国家自然科学基金(61806132,U2001207,61872248) 广东省自然科学基金(2017A030312008) +2 种基金珠江人才计划(2019ZT08X603) 广东省普通高校创新团队项目(2019KCXTD005)。; 文摘近年来,深度强化学习在序列决策领域被广泛应用并且效果良好,尤其在具有高维输入、大规模状态空间的应用场景中优势明显.然而,深度强化学习相关方法也存在一些局限,如缺乏可解释性、初期训练低效与冷启动等问题.针对这些问题,提出了一种基于显式知识推理和深度强化学习的动态决策框架,将显式的知识推理与深度强化学习结合.该框架通过显式知识表示将人类先验知识嵌入智能体训练中,让智能体在强化学习中获得知识推理结果的干预,以提高智能体的训练效率,并增加模型的可解释性.将显式知识分为两种,即启发式加速知识与规避式安全知识.前者在训练初期干预智能体决策,加快训练速度;而后者将避免智能体作出灾难性决策,使其训练过程更为稳定.实验表明,该决策框架在不同强化学习算法上、不同应用场景中明显提高了模型训练效率,并增加了模型的可解释性.; 关键词知识表示与推理可解释性深度强化学习动态序列决策; Keywords knowledge representation and reasoning interpretability deep reinforcement learning(DRL) sequential decision making; 分类号 TP18 [自动化与计算机技术—控制理论与控制工程]; 在线阅读下载PDF 职称材料

	题名	作者	出处	发文年	被引量	操作
1	面向强化学习的可解释性研究综述	曹宏业刘潇董绍康杨尚东霍静李文斌高阳	《计算机学报》 EI CAS CSCD 北大核心	2024	8	在线阅读下载PDF 职称材料
2	强化学习的可解释方法分类研究	唐蕾牛园园王瑞杰行本贝王一婷	《计算机应用研究》 CSCD 北大核心	2024	3	在线阅读下载PDF 职称材料
3	基于梯度的深度强化学习解释方法	王远徐琳宫小泽张永亮王永利	《系统仿真学报》 CAS CSCD 北大核心	2024	1	在线阅读下载PDF 职称材料
4	强化学习可解释性基础问题探索和方法综述	刘潇刘书洋庄韫恺高阳	《软件学报》 EI CSCD 北大核心	2023	21	在线阅读下载PDF 职称材料
5	基于深度强化学习的航天器功率信号复合网络优化算法	张庭瑜曾颖李楠黄洪钟	《系统工程与电子技术》 EI CSCD 北大核心	2024	1	在线阅读下载PDF 职称材料
6	结构交互驱动的机器人深度强化学习控制方法	余超董银昭郭宪冯旸赫卓汉逵张强	《软件学报》 EI CSCD 北大核心	2023	6	在线阅读下载PDF 职称材料
7	显式知识推理和深度强化学习结合的动态决策	张昊迪陈振浩陈俊扬周熠连德富伍楷舜林方真	《软件学报》 EI CSCD 北大核心	2023	3	在线阅读下载PDF 职称材料