[发明专利]基于深度Q网络的仿人机器人步态优化控制方法

说明书

本发明公开一种基于深度Q网络的仿人机器人步态控制方法，包括步态模型构建，获取仿人机器人在行走过程中与环境之间的交互数据，用于提供训练样本；基于记忆数据池的训练样本对深度Q网络进行学习训练，得到仿人机器人的状态‑动作策略深度Q网络模型；获取仿人机器人在动作环境中的状态参数，作为深度Q网络模型的输入，得到深度Q网络模型在当前状态‑动作策略下的动作参数；利用已构建的步态模型，根据深度Q网络模型输出的动作参数，对仿人机器人进行步态控制；在深度Q网络模型训练中，通过产生奖励函数达到更新深度Q网络的目的。本发明能够提高仿人机器人的步行速度，实现仿人机器人快速稳定的行走。

技术领域

本发明涉及一种基于深度Q网络的仿人机器人步态优化控制方法，属于仿人机器人技术领域。

背景技术

作为移动机器人的一个重要分支，仿人机器人是最适合与人类一起工作的通用移动和操作平台。而在所有模仿人类行为的过程中，机器人最应该具备的就是其行走功能。

仿人机器人拥有众多自由度，在行走时是一个变化的机械结构。使用三维线性倒立摆(3D Linear Inverted Pendulum Model，3D-LIPM)的步态模型实现机器人的快速行走需要调试大量的步态参数。而传统的人工调参方法需要耗费巨大的时间，且不一定能得到最优值。当前，遗传算法、粒子群算法、强化学习等都可以优化仿人机器人步态。研究表明：粒子群算法所优化出的步态性能要优于遗传算法。然而，由于机器人参数过多，基于粒子群算法的方法在优化过程中易陷入局部最优，机器人的步行速度很难达到最大。

传统的强化学习方法更加适合于解决低维状态空间问题。而神经网络能够存储多种运动模式，这些运动模式可被复用、细化和灵活排序。因此深度强化学习算法是在这种可能性的范围内找到的较好的解决方法。

近年来，深度Q网络(Deep Q network，DQN)由于可以有效地处理高维的状态动作空间问题，已经成功应用于不同平台上的机器人模型上。目前采用的深度强化学习方法能够让机器人实现一些简单的任务，但是没有考虑步态行走等复杂运动。

发明内容

本发明的目的是提供一种基于深度Q网络的仿人机器人步态优化控制方法，利用DQN进行步态策略优化，可实现仿人机器人的快速行走。

本发明采取的技术方案为：一种基于深度Q网络的仿人机器人步态优化控制方法，包括：

进行仿人机器人的步态模型构建，以实现仿人机器人的全方位行走；

获取仿人机器人在行走过程中与环境之间的交互数据，存入记忆数据池，用于提供训练样本；所述交互数据为四元组(s,a,r,s′)，其中s代表状态参数，a代表仿人机器人在状态s下执行的动态参数，r代表仿人机器人在状态s下执行动作a获得的反馈奖励值，s′代表仿人机器人在状态s下执行动作a后的下一状态；

构建深度Q网络学习架构，基于记忆数据池的训练样本对深度Q网络进行学习训练，得到仿人机器人的状态-动作策略深度Q网络模型；

获取仿人机器人在动作环境中的状态参数，作为深度Q网络模型的输入，得到深度Q网络模型在当前状态-动作策略下的动作参数；

利用已构建的步态模型，根据深度Q网络模型输出的动作参数，对仿人机器人进行步态控制。

本发明通过深度Q网络训练对状态-动作策略进行优化，可使得模型输出的动作参数能够实现仿人机器人的步态优化及快速行走。

本发明所述的仿人机器人动作环境可以是仿真环境如RoboCup 3D仿真平台，也可以是真实的工作环境。对于仿真平台可通过平台本身获取交互数据，对于实际工作环境，则可通过其它相关环境设备实现交互数据的获取。