-
题名基于余弦相似度的多模态模仿学习方法
被引量：9
- 1
-
-
作者
郝少璞
刘全
徐平安
张立华
黄志刚
-
机构
苏州大学计算机科学与技术学院
软件新技术与产业化协同创新中心(南京大学)
符号计算与知识工程教育部重点实验室(吉林大学)
江苏省计算机信息处理技术重点实验室(苏州大学)
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2023年第6期1358-1372,共15页
-
基金
国家自然科学基金项目(61772355,61702055,61876217,62176175)
江苏高校优势学科建设工程资助项目。
-
文摘
生成对抗模仿学习(generative adversarial imitation learning,GAIL)是一种基于生成对抗框架的逆向强化学习(inverse reinforcement learning,IRL)方法,旨在从专家样本中模仿专家策略.在实际任务中,专家样本往往由多模态策略产生.然而,现有的GAIL方法大部分假设专家样本产自于单一模态策略,导致生成对抗模仿学习只能学习到部分模态策略,即出现模式塌缩问题,这极大地限制了模仿学习方法在多模态任务中的应用.针对模式塌缩问题,提出了基于余弦相似度的多模态模仿学习方法(multi-modal imitation learning method with cosine similarity,MCS-GAIL).该方法引入编码器和策略组,通过编码器提取专家样本的模态特征,计算采样样本与专家样本之间特征的余弦相似度,并将其加入策略组的损失函数中,引导策略组学习对应模态的专家策略.此外,MCS-GAIL使用新的极小极大博弈公式指导策略组以互补的方式学习不同模态策略.在假设条件成立的情况下,通过理论分析证明了MCS-GAIL的收敛性.为了验证方法的有效性,将MCS-GAIL用于格子世界和MuJoCo平台上,并与现有模式塌缩方法进行比较.实验结果表明,MCS-GAIL在所有环境中均能有效学习到多个模态策略,且具有较高的准确性和稳定性.
-
关键词
逆向强化学习
生成对抗模仿学习
多模态
模式塌缩
余弦相似度
-
Keywords
inverse reinforcement learning
generative adversarial imitation learning
multi-modal
mode collapse
cosine similarity
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
