-
题名基于最大熵深度强化学习的双足机器人步态控制方法
被引量：3
- 1
-
-
作者
李源潮
陶重犇
王琛
-
机构
苏州科技大学电子与信息工程学院
清华大学苏州汽车研究院
-
出处
《计算机应用》
CSCD
北大核心
2024年第2期445-451,共7页
-
基金
国家自然科学基金资助项目(62201375)
中国博士后科学基金资助项目(2021M691848)
+1 种基金
江苏省自然科学基金资助项目(BK20220635)
苏州市科技项目(SS2019029)。
-
文摘
针对双足机器人连续直线行走的步态稳定控制问题,提出一种基于最大熵深度强化学习(DRL)的柔性演员-评论家(SAC)步态控制方法。首先,该方法无需事先建立准确的机器人动力学模型,所有参数均来自关节角而无需额外的传感器;其次,采用余弦相似度方法对经验样本分类,优化经验回放机制;最后,根据知识和经验设计奖励函数,使双足机器人在直线行走训练过程中不断进行姿态调整,确保直线行走的鲁棒性。在Roboschool仿真环境中与其他先进深度强化学习算法,如近端策略优化(PPO)方法和信赖域策略优化(TRPO)方法的实验对比结果表明,所提方法不仅实现了双足机器人快速稳定的直线行走,而且鲁棒性更好。
-
关键词
双足机器人
步态控制
深度强化学习
最大熵
柔性演员-评论家算法
-
Keywords
biped robot
gait control
deep reinforcement learning
maximum entropy
Soft Actor-Critic(SAC)algorithm
-
分类号
TP242.6
[自动化与计算机技术—检测技术与自动化装置]
-
-
题名一种基于DP-KMP的机器人避障交互式学习方法
- 2
-
-
作者
肖洒
吕勇明
吴海彬
-
机构
福州大学机械工程及自动化学院
-
出处
《仪器仪表学报》
CSCD
北大核心
2024年第11期65-78,共14页
-
基金
国家重点研发计划(2018YFB1308603)项目资助。
-
文摘
为了使机器人在执行复杂任务时能够及时避开障碍,提出了一种基于DP-KMP的机器人避障交互式学习方法。首先构建了该方法的整体框架,采用分割泛化策略,实现对示教轨迹的快速分段学习和对分段轨迹的避障规划;针对学习阶段,提出了基于DP算法的轨迹分割策略以提高分割效率,并使用高斯混合模型策略提取各子轨迹的参考数据库;针对轨迹规划阶段,使用KMP模型完成轨迹复现与泛化,并引入基于人机交互反馈的参考数据库更新策略,提升了人机交互避障的成功率;针对该更新策略可能失效导致避障轨迹规划失败的问题,提出了两个相应的适用条件用于检验分割生成的子轨迹。最后,通过仿真验证了所述适用条件的有效性;真实实验结果表明,使用所提出的方法分割两个实验的示教轨迹分别仅用时0.084和0.107 s, KUKA协作机器人在执行不同搬运任务的过程中通过与用户的多次交互成功避开了所有静止和突然变化的障碍。
-
关键词
模仿学习
核化运动基元
道格拉斯-普克算法
轨迹分割
人-机器人交互
避障
-
Keywords
imitation learning
kernelized movement primitives
Douglas-Peucker algorithm
trajectory segmentation
human-robot interaction
obstacle avoidance
-
分类号
TH89
[机械工程—精密仪器及机械]
TP242
[自动化与计算机技术—检测技术与自动化装置]
-
-
题名基于最大熵强化学习的电网自主拓扑切换控制技术
被引量：1
- 3
-
-
作者
马世乾
黄家凯
崇志强
韩枭赟
徐娜
穆朝絮
-
机构
国网天津市电力公司电力科学研究院
天津大学电气自动化与信息工程学院
-
出处
《电力系统及其自动化学报》
CSCD
北大核心
2022年第12期51-60,共10页
-
基金
国网天津市电力公司科技项目(KJ21-2-01)。
-
文摘
随着新能源装机量逐年提高,电网结构日趋复杂,针对新能源并网后导致的运行安全问题,本文提出一种基于最大熵强化学习的电网自主拓扑切换控制算法,为变电站和输电线提供切换策略。首先设计了基于模仿学习的神经网络预训练方案,提出了模仿学习-最大熵算法,解决了电网拓扑切换中面临的爆炸性动作组合空间问题和切换导致的脆弱性问题,智能体可在亚秒级内给出控制指令。基于IEEE 45节点算例对所提算法进行仿真验证,结果表明其具有较强的高效性与鲁棒性。
-
关键词
最大熵强化学习算法
模仿学习-最大熵算法
拓扑鲁棒性
电网调控运行
-
Keywords
soft actor-critic(SAC)algorithm
imitation learning soft actor-critic(IL-SAC)algorithm
topological robustness
regulation and operation of power grid
-
分类号
TM73
[电气工程—电力系统及自动化]
-
-
题名基于HMFDE和t-SNE的旋转机械故障诊断方法
被引量：4
- 4
-
-
作者
尹久
张杰
-
机构
湖北轻工职业技术学院机电工程学院
武汉理工大学机电工程学院
-
出处
《机电工程》
CAS
北大核心
2024年第6期1058-1067,共10页
-
基金
国家自然科学基金资助项目(51577065)。
-
文摘
针对旋转机械的故障特征提取较难,以及单一类型的特征无法全面反映故障特性的问题,提出了一种基于混合多尺度波动散布熵(HMFDE)、t分布-随机邻域嵌入(t-SNE)和郊狼优化算法(COA)优化极限学习机(ELM)的旋转机械故障诊断方法。首先,采用特征加权提出了混合多尺度波动散布熵方法,并将其用于提取旋转机械振动信号的故障特征;随后,采用t-SNE方法对混合故障特征进行了特征降维,挑选出了最能够反映故障特性的特征子集,构建了敏感特征样本;最后,采用郊狼优化算法对极限学习机的输入权重和隐含层阈值进行了优化,完成了旋转机械的故障识别和分类;以齿轮箱和滚动轴承故障数据集为对象,对基于HMFDE、t-SNE和COA-ELM的故障诊断方法进行了实验,验证了方法的有效性。研究结果表明:采用HMFDE-t-SNE-CAO-ELM故障诊断方法可以取得100%的故障识别准确率,该方法能够有效地诊断旋转机械的不同故障类型和损伤;相较于基于单一类型特征的故障诊断方法,其准确率分别可以提高0.68%、22.42%、29.18%(齿轮箱)和1.43%、8.23%、23.67%(滚动轴承),虽然牺牲了一定的计算效率,但准确率得到了明显的提高;相较于其他常规故障分类器,COA-ELM的故障识别准确率具有明显的优势。
-
关键词
旋转机械
故障诊断
齿轮箱
滚动轴承
混合多尺度波动散布熵
t分布-随机邻域嵌入
郊狼优化算法
极限学习机
-
Keywords
rotating machinery
fault diagnosis
gear box
rolling bearing
hybrid multi-scale fluctuation dispersion entropy(HMFDE)
t-distributed stochastic neighbor embedding(t-SNE)
coyote optimization algorithm(COA)
extreme learning machine(ELM)
-
分类号
TH133.3
[机械工程—机械制造及自动化]
-
