[发明专利]一种基于鲁棒模仿学习的模拟器建模方法

权利要求书

1.一种基于鲁棒模仿学习的模仿机器人行为的模拟器建模方法，其特征在于，包括以下步骤：

步骤1、从机器人策略分布中采样出训练机器人策略集合Π和测试机器人策略集合Π′；

步骤2、令所述训练机器人策略集合Π的机器人策略π与真实机器人p^*进行交互，以获得真实数据集合B_π＝{(s，a，s′)～(π，p^*)}；

其中s代表状态，a代表动作，s’代表真实机器人p^*在给定s，a的前提下会转变到的状态，所有机器人策略收集到的数据集合记为B＝{B_π|π∈Π}；

步骤3、每k步进行一次机器人策略筛选；令所述训练机器人策略集合Π中的机器人策略π与学习到的模仿机器人行为的模拟器进行交互，并计算价值差异VD，以衡量模仿机器人行为的模拟器在机器人策略π下的表现；选取其中表现最差的机器人策略构成集合Π_c，其对应的数据集记为B_c＝{B_π|π∈Π_c}；

其中模仿机器人行为的模拟器以动作状态对(s，a)作为输入，并输出对于接下来的状态的预测，即可以将模仿机器人行为的模拟器看作为一个假的环境；

步骤4、从B_c中采样数据，并利用Π_c中的机器人策略与当前模仿机器人行为的模拟器交互以收集数据，收集到的数据记为用以优化生成对抗模仿学习中的判别器D_ω；

其中s代表状态，a代表动作，s’代表在给定s，a为输入的前提下的输出；

步骤5、从D_p中采样数据，并利用判别器D_ω提供相应的奖励，进而用以优化生成模仿机器人行为的模拟器

步骤6、重复步骤3-5直到重复次数达到事先设定的阈值。

2.如权利要求1所述的基于鲁棒模仿学习的模仿机器人行为的模拟器建模方法，其特征在于，在机器人策略筛选时采用所述价值差异VD作为指标，所述价值差异VD为：

其中V(p，π)指的是机器人策略π在环境或者是模仿机器人行为的模拟器p上所获得的累积奖励，VD的值越大，代表模仿机器人行为的模拟器在机器人策略π上表现越差。

3.如权利要求1所述的基于鲁棒模仿学习的模仿机器人行为的模拟器建模方法，其特征在于，所述判别器D_ω根据B_c与D_p中的数据进行判别器优化，而且判别器D_ω以状态转移对(s，a，s′)作为输入，并输出一个实数。

4.如权利要求3所述的基于鲁棒模仿学习的模仿机器人行为的模拟器建模方法，其特征在于，所述判别器优化的损失函数为：

其中p^*，分别代表真实机器人和模仿机器人行为的模拟器，|Π_c|代表集合Π_c中机器人策略的数目，π_i代表集合|Π_c|中的第i个元素，D_ω(s，a，s′)代表了判别器对于状态转移对(s，a，s′)的输出。

5.如权利要求1所述的基于鲁棒模仿学习的模仿机器人行为的模拟器建模方法，其特征在于，所述模仿机器人行为的模拟器根据D_p中的数据进行模仿机器人行为的模拟器优化。

6.如权利要求1所述的基于鲁棒模仿学习的模仿机器人行为的模拟器建模方法，其特征在于，所述模仿机器人行为的模拟器优化包括以下步骤：

利用所述判别器D_ω生成状态转移对(s，a，s′)相应的奖励r；

采用强化学习中的演员-评论家算法对所述模仿机器人行为的模拟器进行优化。