面向不间断供电(UPS)系统的电能质量分析技术

1

作者 邓卜侨 谢岫峰 +2 位作者 纪明阳 艾青 王康 《电子设计工程》 2025年第1期12-16,共5页

针对现行UPS电能质量检测过程存在的准确率低、实时性差且成本高的缺点,文中基于VMD-SAE-1DCNN模型提出了一种UPS电能质量检测与识别算法。对于电能信号非线性与非平稳的特点,使用变分模态算法对原信号进行分解,从而得到本征模态信号。... 针对现行UPS电能质量检测过程存在的准确率低、实时性差且成本高的缺点,文中基于VMD-SAE-1DCNN模型提出了一种UPS电能质量检测与识别算法。对于电能信号非线性与非平稳的特点,使用变分模态算法对原信号进行分解,从而得到本征模态信号。同时,采用稀疏自编码器对本征模态信号进行特征提取,通过建立多层一维卷积神经网络模型对特征进行训练,提升了运算效率。实验测试结果表明,所提算法的迭代次数与运行时间在对比算法中均为最优,分类准确率可达97%以上,充分证明了改进算法的有效性。 展开更多

关键词 UPS 变分模态算法 稀疏自编码器 卷积神经网络 电能质量分析

在线阅读 下载PDF 职称材料

智能变电站多视角AI巡视视频目标跟踪系统

2

作者 田翔 王奔 +1 位作者 袁冰峰 杨磊 《电子设计工程》 2025年第6期155-158,163,共5页

为了优化AI巡视视频目标跟踪系统多视角目标的捕捉能力,设计了一种新的智能变电站多视角AI巡视视频目标跟踪系统,对系统硬件和软件进行优化。系统硬件由DSP、视频解码器、视频编码器和控制电路四部分组成,选用TM9053113型DAV媒体专用处... 为了优化AI巡视视频目标跟踪系统多视角目标的捕捉能力,设计了一种新的智能变电站多视角AI巡视视频目标跟踪系统,对系统硬件和软件进行优化。系统硬件由DSP、视频解码器、视频编码器和控制电路四部分组成,选用TM9053113型DAV媒体专用处理器进行数据处理的同时,采用ADV21839型的视频解码器和DM3344型的视频编码器实现解码和编码。软件部分利用高斯单背景模型进行目标分割,计算代价函数从而实现实时跟踪和连续跟踪。实验结果表明,智能变电站多视角AI巡视视频目标跟踪系统能够精准地捕捉目标,丢失率低于0.1%。 展开更多

关键词 智能变电站 多视角巡视 AI巡视 目标跟踪 跟踪系统

在线阅读 下载PDF 职称材料

电动汽车充电桩计量精度提升方法与能效评估研究

3

作者 施冉 张洁 《汽车维修技师》 2025年第4期24-25,共2页

为提升电动汽车充电桩的计量精度与能效评估水平,分析现有计量技术的不足,提出硬件优化、算法改进与数字化校准方案,并构建能效评估指标体系和动态评估模型。研究表明,通过优化传感器设计、引入Kalman滤波和谐波补偿算法,结合多点校准策... 为提升电动汽车充电桩的计量精度与能效评估水平,分析现有计量技术的不足,提出硬件优化、算法改进与数字化校准方案,并构建能效评估指标体系和动态评估模型。研究表明,通过优化传感器设计、引入Kalman滤波和谐波补偿算法,结合多点校准策略,可有效提升计量精度至±0.2%,并实现能效评估精度±2%,为充电桩的性能优化与节能改造提供了技术支撑。 展开更多

关键词 电动汽车充电桩 计量精度 能效评估 校准

在线阅读 下载PDF 职称材料

基于HMAC算法的网络通信安全数据传输系统设计 被引量：3

4

作者 艾雪瑞 许放 +2 位作者 张涛 程方圆 曹瑾 《电子设计工程》 2024年第6期175-179,共5页

目前的网络通信安全数据传输系统稳定性较差,导致通信质量下降。为了解决上述问题,设计基于HMAC算法的网络通信安全数据传输系统。通过加密模块、解密模块实现网络通信数据加密和解密处理,采用HMAC算法对身份认证模块字段的含义进行延伸... 目前的网络通信安全数据传输系统稳定性较差,导致通信质量下降。为了解决上述问题,设计基于HMAC算法的网络通信安全数据传输系统。通过加密模块、解密模块实现网络通信数据加密和解密处理,采用HMAC算法对身份认证模块字段的含义进行延伸,利用逻辑发生器减少外来伪造信息的攻击。获取Logistic映射和Chebyshev映射的迭代初值和控制参数,将其作为HMAC算法的序列值,保证消息的传播安全性和不可逆转性,以此实现网络通信安全数据传输。实验结果表明,基于HMAC算法的网络通信安全数据传输系统的传输稳定性高达99%,通信质量较好。 展开更多

关键词 HMAC算法 网络通信 通信安全 安全数据 数据传输 传输系统

在线阅读 下载PDF 职称材料

星地一体融合应急通信保障系统设计 被引量：1

5

作者 韩亮 张涵 买超 《现代信息科技》 2024年第16期1-4,9,共5页

利用天通卫星和北斗系统的优势,充分结合地面数字对讲系统和移动通信系统的特点,设计了一种星地融合、互联互通的应急通信保障系统。该系统由各类通信终端、地面和卫星通信网络及中心应用系统组成。星地通终端为中心站构建区域对讲系统... 利用天通卫星和北斗系统的优势,充分结合地面数字对讲系统和移动通信系统的特点,设计了一种星地融合、互联互通的应急通信保障系统。该系统由各类通信终端、地面和卫星通信网络及中心应用系统组成。星地通终端为中心站构建区域对讲系统,实现区域内终端通信;通过星地通终端申请的卫星信道远程转发区域内终端业务,完成跨区域终端间、终端和中心应用系统之间信息交互。中心应用系统包括业务接入层和应用层,完成各通信网内终端数据接入及用户应用,提供音视频、位置、短息等通信业务,实现应急通信保障。 展开更多

关键词 数字对讲 卫星通信 星地一体 物联网应用

在线阅读 下载PDF 职称材料

基于模糊映射的电力通信网路由流量负载均衡方法

6

作者 许剑 《通信电源技术》 2022年第21期77-79,共3页

为了提高电力通信网路由流量负载的均衡性,保证电力网络整体运行的安全性,根据模糊映射理论,设计了一种电力通信网路由流量负载均衡方法。根据电力通信网运行的基本需求,确定负载均衡的约束条件,构建负载均衡模型,基于模糊映射理论对负... 为了提高电力通信网路由流量负载的均衡性,保证电力网络整体运行的安全性,根据模糊映射理论,设计了一种电力通信网路由流量负载均衡方法。根据电力通信网运行的基本需求,确定负载均衡的约束条件,构建负载均衡模型,基于模糊映射理论对负载均衡模型求解,实现电力通信网路由流量负载的优化与均衡。仿真测试结果显示,对于5组不同大小的业务量,所提方法完成负载优化均衡处理的平均运行时间为6.77 s,经过负载均衡处理后,路由流量的主链路传输时延的平均值为0.20 ms,备份链路传输时延的平均值为1.35 ms,链路负载均衡度的平均值为0.0285,表明所设计方法具有高效性与实时性,同时可以更加精确地选择链路负载均衡度最低的传输路径,降低链路的业务承载量,提高电力通信网整体的通信效率。 展开更多

关键词 模糊映射理论 电力通信网 路由设备 负载均衡方案

在线阅读 下载PDF 职称材料

AI技术下复杂发电站运行风险视觉特征库构建

7

作者 高国庆 袁冰峰 +1 位作者 王莹 李垠萱 《电子设计工程》 2024年第23期164-167,172,共5页

传统发电站运行风险特征库构建方法存在冗余特征量过多的问题,导致风险评估结果可信度不足,因此提出基于AI技术的复杂发电站运行风险视觉特征库构建方法。该方法整合文本条件向量与噪声向量,将整合结果作为风险观察的输入数据。引入AI... 传统发电站运行风险特征库构建方法存在冗余特征量过多的问题,导致风险评估结果可信度不足,因此提出基于AI技术的复杂发电站运行风险视觉特征库构建方法。该方法整合文本条件向量与噪声向量,将整合结果作为风险观察的输入数据。引入AI技术进行图像特征映射和自主学习,并设计视觉可视化合成策略。计算风险估测值序列的算术平均数,采用相邻比较法确定变点的时刻和位置,收集总风险特征。将先验概率转换为后验概率,对独立风险特征进行分类处理,识别未知风险并贴上标签,从而完成风险视觉特征库的构建。实验结果表明,该方法能够提取与实际视觉特征库中数据一致的雷电流和电压幅值变化范围,为综合评估发电站运行状态提供了数据支持。 展开更多

关键词 AI技术 复杂发电站 运行风险 视觉特征库

在线阅读 下载PDF 职称材料

一种卫星移动通信系统的业务获取系统设计

8

作者 张涵 韩亮 买超 《无线互联科技》 2024年第3期58-62,共5页

互联网和移动通信网络均配备了业务获取系统。目前,卫星移动通信快速发展,尤其以华为Mate为代表的手机直连卫星的消费类产品的推出,给信息安全带来较大挑战,亟需建设卫星业务获取系统。文章通过对比自建业务获取系统、核心网专用接口接... 互联网和移动通信网络均配备了业务获取系统。目前,卫星移动通信快速发展,尤其以华为Mate为代表的手机直连卫星的消费类产品的推出,给信息安全带来较大挑战,亟需建设卫星业务获取系统。文章通过对比自建业务获取系统、核心网专用接口接入方案、Iub接口全数据接入方案的优劣,得出Iub接口全数据接入方案为最佳方案。数据经过分流处理后分发到协议解析设备和话音处理设备,解析出终端的位置、短信和话音,并存入业务存储设备。系统应用软件作为整个系统的控制中心,可以完成用户交互、业务实时显示和事后回放。 展开更多

关键词 天通终端 业务获取 IUB接口 实时显示 事后回放

在线阅读 下载PDF 职称材料

基于状态跟踪的变电站主机运行漏洞检测方法 被引量：2

9

作者 王莹 于波涛 张岩 《电子设计工程》 2023年第24期168-171,176,共5页

变电站主机运行漏洞会降低运行速度,造成程序崩塌,接收数据量较低,为此提出基于状态跟踪的变电站主机运行漏洞检测方法。采用状态跟踪判定数据安全状态,通过数据属性和映射分析得到安全状态五元组,提取安全属性和被执行操作,确定待采集... 变电站主机运行漏洞会降低运行速度,造成程序崩塌,接收数据量较低,为此提出基于状态跟踪的变电站主机运行漏洞检测方法。采用状态跟踪判定数据安全状态,通过数据属性和映射分析得到安全状态五元组,提取安全属性和被执行操作,确定待采集数据的可信性,同时记录不同时间段数据状态,结合转换函数实现数据鉴别,将状态信息进行内存拷贝,针对不同种类特征进行漏洞特征检测。实验结果表明,所设计方法接收数据量能够达到39 GB,漏洞检测率在84.52%~97.33%中波动,漏洞检测误差率低于1.41%。 展开更多

关键词 状态跟踪 变电站 主机运行 运行漏洞 漏洞检测

在线阅读 下载PDF 职称材料

基于LSTM的短期电力负荷预测算法研究 被引量：4

10

作者 刘海峰 王艳如 《现代信息科技》 2021年第23期40-42,47,共4页

基于组合预测方法的研究思路,在LSTM神经网络的基础上,引入强化学习思想,采用简化的Inception网络结构,构造成隐藏状态矩阵,实现LSTM网络的改进与优化,并据此构建短期电力负荷预测模型。实验结果表明,与DBN、RBF等网络模型相比,基于强... 基于组合预测方法的研究思路,在LSTM神经网络的基础上,引入强化学习思想,采用简化的Inception网络结构,构造成隐藏状态矩阵,实现LSTM网络的改进与优化,并据此构建短期电力负荷预测模型。实验结果表明,与DBN、RBF等网络模型相比,基于强化学习的改进LSTM网络模型可更好地捕捉依赖信息,具有更高的短期负荷预测准确性。 展开更多

关键词 短期电力负荷 深度学习网络 LSTM网络 强化学习

在线阅读 下载PDF 职称材料

基于电网大数据的负荷用电模式研究 被引量：2

11

作者 李博 保拉 +2 位作者 刁琪 赵天翔 王翔 《长江信息通信》 2021年第6期25-27,共3页

电力负荷的组成包括居民用电、工商业用电及其他负荷用电等。由于影响因素众多,对于负荷在运行中的波动,可以观测到特殊的分布规律。社会中的用电群体,跟随经济的快速发展而呈大量增长的趋势,多样化的用电方式展现出较强的灵活性,受电... 电力负荷的组成包括居民用电、工商业用电及其他负荷用电等。由于影响因素众多,对于负荷在运行中的波动,可以观测到特殊的分布规律。社会中的用电群体,跟随经济的快速发展而呈大量增长的趋势,多样化的用电方式展现出较强的灵活性,受电网大数据因素迎新年,还需注重负荷用电模式创新,依据应用阶段的实际情况,结合具体信息数据深度挖掘与探究,有利于国民经济与民生发展。此外,在模型基础前提下,进一步根据聚类分析等数据分析技术,介绍了用电行为模式分析模型,在理论上针对实施需求响应业务提供了支持,帮助制定精细化需求响应策略,充分发挥电网运行效率。 展开更多

关键词 用电模式 负荷特性 负荷模式分析 聚类分析

在线阅读 下载PDF 职称材料

无线通信设备接地和屏蔽方案 被引量：1

12

作者 巩汉春 王炳华 张新 《通信电源技术》 2021年第2期199-202,共4页

季节更替带来气温变化,引起了接地系统连接点出现松动。春季天气干燥导致接地电阻增大,周围环境存在过量的电磁辐射,这些因素影响了基站2M中继信号的解调质量,导致基站季节性出现E1/T1误码超限和时钟参考源异常告警。创新性地提出了桥... 季节更替带来气温变化,引起了接地系统连接点出现松动。春季天气干燥导致接地电阻增大,周围环境存在过量的电磁辐射,这些因素影响了基站2M中继信号的解调质量,导致基站季节性出现E1/T1误码超限和时钟参考源异常告警。创新性地提出了桥接设备之间的屏蔽体,使它们的机框具有相同的电位,提高设备之间传输信号判别的准确率,优化中继信号的解调质量,以应对楼顶简易机房和室内分布等不便于低电阻大载流量接地的特殊环境。 展开更多

关键词 接地系统 屏蔽 E1/T1误码超限 时钟参考源异常 气候干燥

在线阅读 下载PDF 职称材料

低压配电网络中非直接接触式电压测试技术的研究

13

作者 许剑 刘松阳 《通信电源技术》 2022年第23期4-7,共4页

为了在不破坏低压配电网络绝缘层的情况下进行电压测量工作,提出了一种非直接接触式电压测试方法,对非接触式电压测量技术产品在数字领域内的应用推广具有积极作用。通过实物样机开展非接触式电压的现场实测,测试结果表明测量误差控制... 为了在不破坏低压配电网络绝缘层的情况下进行电压测量工作,提出了一种非直接接触式电压测试方法,对非接触式电压测量技术产品在数字领域内的应用推广具有积极作用。通过实物样机开展非接触式电压的现场实测,测试结果表明测量误差控制在合理范围内,该方法具有较好的推广应用价值。 展开更多

关键词 电压测量 非接触式电压测量 电路设计 电磁场

在线阅读 下载PDF 职称材料

面向多元可控负荷调控的云边协同负荷资源分配策略

14

作者 李思维 靳莉 +3 位作者 于龙 杜立石 岳靓 张喜润 《电信科学》 北大核心 2024年第8期52-62,共11页

针对多元可控负荷资源进行可控负荷管理时需要占用大量计算资源,且无法实现自动功率精准控制的问题,提出了一种面向多元可控负荷调控的云边协同负荷资源分配策略。首先,设计了云边协同调控架构,整合处理各种多元可控负荷资源数据;其次,... 针对多元可控负荷资源进行可控负荷管理时需要占用大量计算资源,且无法实现自动功率精准控制的问题,提出了一种面向多元可控负荷调控的云边协同负荷资源分配策略。首先,设计了云边协同调控架构,整合处理各种多元可控负荷资源数据;其次,考虑不同边缘节点计算任务的相似度,以所有计算任务的时间开销最小为优化目标,给出云端计算资源分配策略,合理分配计算资源;最后,通过基于自适应交叉—变异概率的遗传算法进行计算资源分配的求解。实验结果表明,所提算法在任务完成时间和执行成本上具有较为明显的优势,并且任务数量越多,计算资源越小时优势越明显,可以显著提升计算效率,降低计算耗时。 展开更多

关键词 负荷管理 多元可控负荷 资源分配 云边协同

在线阅读 下载PDF 职称材料

智慧园区无线传感网络能量均衡覆盖优化系统 被引量：2

15

作者 艾雪瑞 许放 +2 位作者 曹瑾 刘琦 赵楠 《电子设计工程》 2024年第11期110-114,共5页

针对传统LEACH协议存在数据传输效率较低以及节点能量分布不均的缺陷,文中从功耗和效率层面出发,提出了一种无线传感网络能量均衡覆盖优化系统。对于节点能量分布不均的问题,设计了由剩余能量因子与距离因子所组成的系统权重因子,并根... 针对传统LEACH协议存在数据传输效率较低以及节点能量分布不均的缺陷,文中从功耗和效率层面出发,提出了一种无线传感网络能量均衡覆盖优化系统。对于节点能量分布不均的问题,设计了由剩余能量因子与距离因子所组成的系统权重因子,并根据该因子及竞争半径来选择簇头。同时基于遗传算法提出了一种单链多跳路由协议,进而提升了系统的功耗水平,解决了数据传输效率偏低的问题。以某智慧园区为模型进行的实验测试结果表明,所设计系统的存活节点个数、系统剩余能量以及数据包接收数量这三个指标均大幅领先,充分说明了改进后的算法能够有效减少系统的能量损耗并提升节点的利用率,使其可以存活至1200轮,从而延长整个WSN系统的运行周期。 展开更多

关键词 无线传感网络 动态簇头选择 遗传算法 能量均衡覆盖 多跳路由协议 通信系统优化

在线阅读 下载PDF 职称材料

新型调度控制系统技术研究与应用 被引量：3

16

作者 秦宁丽 杜长宇 +2 位作者 李达 吴锋 王翔 《科技创新与应用》 2024年第6期156-159,共4页

为解决传统调度电话与调度控制系统之间相互独立、无法联动问题,更好满足调度指令的上传与下达,以及调度事务的沟通与协作,实现调度电话业务与调度自动化业务的深度融合应用,基于现有程控调度电话交换网技术体系,对新型调度控制系统深... 为解决传统调度电话与调度控制系统之间相互独立、无法联动问题,更好满足调度指令的上传与下达,以及调度事务的沟通与协作,实现调度电话业务与调度自动化业务的深度融合应用,基于现有程控调度电话交换网技术体系,对新型调度控制系统深入研究,实现调度电话与人机工作站的融合,传统调度电话在调度数据通信网的IP化延伸,一是实现调度电话业务在人机工作站的安全延伸,二是提供调度自动化系统与调度电话的智能联动应用。目前,已完成国家电网有限公司的多地市全业务部署工作,包括信通公司、西南分部、河北省电力有限公司、辽宁省电力有限公司。该融合技术将促进通信与调度自动化的跨专业协同,推动通信业务与调度自动化业务共同发展,提升调度自动化业务智能化水平,为推进智能调度建设发挥重大作用。 展开更多

关键词 新型调度控制系统 调度电话 人机工作站 机器人 数字化

在线阅读 下载PDF 职称材料

基于注意力机制的多尺度手部分割方法

17

作者 周雯晴 代素敏 +1 位作者 王阳萍 王文润 《液晶与显示》 CAS CSCD 北大核心 2024年第11期1506-1518,共13页

针对手部边缘细节信息分割不精确及小面积手部的错检、漏检问题,提出一种基于注意力机制的多尺度手部分割方法。首先,对Transformer模块重新进行设计优化,提出窗口自注意力结构和双分支前馈神经网络(Dual-branch FeedForward Networks,D... 针对手部边缘细节信息分割不精确及小面积手部的错检、漏检问题,提出一种基于注意力机制的多尺度手部分割方法。首先,对Transformer模块重新进行设计优化,提出窗口自注意力结构和双分支前馈神经网络(Dual-branch FeedForward Networks,D-FFN)机制,通过窗口自注意力机制整合全局和局部的依赖信息,D-FFN抑制背景信息的干扰;然后,提出一种结合条形池化和级联网络的多尺度特征提取模块增大感受野,提高手部分割模型的准确性和鲁棒性;最后,提出基于Triplet Attention机制的上采样解码器模块,通过调节通道维度与空间维度的注意力权重将目标特征和背景的冗余特征区分开。将所提算法在公开数据集GTEA(Georgia Tech Egocentric Activity)和EYTH(EgoYouTubeHands)上测试,实验结果表明,该算法在两个数据集上的平均交并比(MIoU)值分别达到了95.8%和90.2%,相较于TransUnet算法分别提升了2.5%和2.1%,满足手部图像分割的稳定可靠、精度高、抗干扰能力强等要求。 展开更多

关键词 手部分割 深度学习 TransUnet 前馈神经网络 空洞空间金字塔池化模块 Triplet Attention

在线阅读 下载PDF 职称材料

基于逆向运算法的海量大数据安全存储方法 被引量：1

18

作者 王卓瑜 王磊 +2 位作者 陆婷 苏亮 孙婷 《兵工自动化》 北大核心 2024年第7期23-26,共4页

为解决传统大数据安全存储方法存在的加解密时间长与存储速率低的问题,提出一种基于逆向运算法的海量大数据安全存储方法。通过AES算法中查询表模块、密匙扩展模块及加解密模块的功能设计实现大数据的加密处理;设计一种用于存储加密数... 为解决传统大数据安全存储方法存在的加解密时间长与存储速率低的问题,提出一种基于逆向运算法的海量大数据安全存储方法。通过AES算法中查询表模块、密匙扩展模块及加解密模块的功能设计实现大数据的加密处理;设计一种用于存储加密数据的海量大数据分层存储模型,在加密数据的读取中,通过逆向运算法恢复数据,实现海量大数据的安全存储;搭建Hadoop集群测试环境测试设计方法的加密性能与存储性能。测试结果表明:该方法的加密与解密时间均低于20 s,影像数据存储速度高于580 MB/s,语音数据存储速度高于916 MB/s,能有效缩短大数据存储的加解密时间,提高多类资源的存储速度。 展开更多

关键词 逆向运算法 分布式传感器 海量大数据 安全存储 Rabin指纹算法

在线阅读 下载PDF 职称材料

基于生成对抗机制的多目标跟踪方法

19

作者 孙逸凡 代素敏 +1 位作者 党建武 雍玖 《兰州交通大学学报》 CAS 2024年第4期87-97,共11页

针对多目标跟踪中的跟踪结果易受遮挡而产生的漏检问题,提出一种公路场景下的基于生成对抗机制的多目标跟踪方法。首先,对经过预训练的跟踪网络输出的特征进行处理,在特征空间中添加自适应的二维遮挡掩码,生成现实生活中难以获得的遮挡... 针对多目标跟踪中的跟踪结果易受遮挡而产生的漏检问题,提出一种公路场景下的基于生成对抗机制的多目标跟踪方法。首先,对经过预训练的跟踪网络输出的特征进行处理,在特征空间中添加自适应的二维遮挡掩码,生成现实生活中难以获得的遮挡样本;其次,利用生成对抗网络在无监督学习方面的优势,将FairMOT模型作为判别网络,加入结合强化学习机制的生成网络来学习如何筛选困难样本,2个网络进行对抗训练以提升多目标跟踪模型的遮挡不变性,提高跟踪精度;最后,在重识别分支中引入中心损失函数以提高重识别准确度。取数据集BDD100K中部分视频序列进行实验,实验结果表明:改进后算法的跟踪准确率提升了0.8个百分点,跟踪精度降低了0.4个百分点,跟踪过程中身份的切换次数减少了208。 展开更多

关键词 图像处理 多目标跟踪 深度学习 卷积神经网络 生成对抗网络

在线阅读 下载PDF 职称材料

基于智能体自适应行为决策的深度强化学习算法

20

作者 韩龙哲 杨浩 +5 位作者 曾添 廖逍 李思维 傅裕 卫光前 张亚男 《南昌工程学院学报》 2024年第6期34-42,共9页

过估计问题和探索与利用的平衡问题,是强化学习一直以来面临的挑战。为了缓解过估计问题以及平衡探索与利用,本文在DQN算法的基础上,提出了一种Au-D3QN算法。首先,通过将Double DQN和Dueling DQN的优势相融合,分别平衡主网络和目标网络... 过估计问题和探索与利用的平衡问题,是强化学习一直以来面临的挑战。为了缓解过估计问题以及平衡探索与利用,本文在DQN算法的基础上,提出了一种Au-D3QN算法。首先,通过将Double DQN和Dueling DQN的优势相融合,分别平衡主网络和目标网络中动作对Q值的影响,拟合获得更准确的Q值,从而缓解过估计问题。其次,引入信息熵的概念定义系统不确定性测度模型,并且通过加入粒子群算法中惯性权重对模拟退火算法进行改进,应用改进模拟退火算法对系统不确定性测度模型进行优化,实现自适应调节行为策略的探索力度,从而平衡探索与利用。最后,将算法应用在Playing Atari 2600游戏中进行验证,实验结果表明,相较于普通的DQN算法,所提出的Au-D3QN算法在收敛速度和平稳性方面都有相应的提升,具有更好的性能。 展开更多

关键词 深度强化学习 过估计 探索与利用 信息熵

在线阅读 下载PDF 职称材料