[发明专利]一种仿人机器人步态规划的深度强化学习新方法

说明书

本发明涉及一种机器人技术的改进，具体为一种仿人机器人步态规划的深度强化学习新方法，利用改进的DQN算法解决双足机器人的步行控制问题，在无需建立复杂的双足机器人动力学模型的基础上，将强化深度学习方法用于双足机器人实现在快步行走条件下的长距离稳定步态控制，包括建立仿人双足机器人模型、预训练控制参数和双足机器人步行运动；其中，仿人双足机器人模型采用简化的6自由度连杆模型，足部采用平面足底结构；预训练控制参数采用改进的DQN网络结构的深度强化学习进行控制器的训练；双足机器人步行运动是指通过训练的控制器实现稳定性。

技术领域

本发明涉及一种机器人技术的改进，具体为一种仿人机器人步态规划的深度强化学习新方法。

背景技术

仿人双足机器人具有类人型的结构能够适应诸如楼梯、街道、非平整地面等复杂地形环境，具有运动形式灵活的特点。因此，该类型运动形式的机器人可以用于医疗、救援、服务、探索等诸多行业领域。人类运动看起来很简单，却是一个涉及多个自由度的非常复杂的动作。它可以看作是通过下半身的伸肌和屈肌群把这些自由度相互关联而产生的复杂非线性动力学，这也成为正确理解运动研究中涉及的生理学并将其复制到双足机器人的动机。双足步行机器人具有便捷性、灵活性，可穿越大范围的地形，因此其运动稳定性至关重要。然而，由于非线性和不稳定因素使得其运动姿态的控制系统设计困难。面对双足步行系统的稳定性问题，近些年许多学者使用传统的控制体系结构做了大量相关工作。这些传统的控制理论方法依赖于复杂数学工程模型以及确定性问题。最近，相关学者的研究表明机器学习比传统的控制方法在双足行走稳定性上更具优势。

仿人双足步行控制可以看作是解决未经处理的高维感官输入中的复杂任务。近年来，深度学习在解决高维复杂问题上已有很多成果。其中DQN算法能够解决高维观测空间的问题，但它只能处理离散和低维的动作空间。一般来说，使用大型非线性函数逼近器来学习价值函数既困难又不稳定。结合DQN算法的优点，使用重播缓冲区中的样本对网络进行非策略训练，以最大程度地减少样本之间的相关性，再利用目标网络训练以在时间差备份期间给出一致的目标，给出一种使用深度函数逼近器的无模型、偏离策略的操作、评论算法DDPG(Deep Deterministic Policy Gradient)。该算法作为学习高维、连续动作空间中的策略的无模型方法可以使用相同的低维观测值(例如笛卡尔坐标或关节角)来学习所有任务的竞争策略超参数和网络结构。在许多情况下，它还可以直接从像素中学习良好的策略，从而再次保持超参数和网络结构不变。操作-评论的算法会根据近似评论的价值估算来更新策略。由于DDPG算法使用确定性策略梯度作为更新策略，而该更新会导致价值估计中的过高估计。尽管每次更新时这种高估可能都是最小的，但是估计误差的出现会引起误差叠加以及策略更新不佳。故本文提出一种双Q学习修正函数取代评论函数得到一种改进的DQN算法，以此解决该问题。

发明内容

本发明要解决的技术问题克服现有的缺陷，提供一种仿人机器人步态规划的深度强化学习新方法，利用改进的DQN算法解决双足机器人的步行控制问题，在无需建立复杂的双足机器人动力学模型的基础上，将强化深度学习方法用于双足机器人实现在快步行走条件下的长距离稳定步态控制。

为了解决上述技术问题，本发明提供了如下的技术方案：一种仿人机器人步态规划的深度强化学习新方法，包括建立仿人双足机器人模型、预训练控制参数和双足机器人步行运动；

其中，仿人双足机器人模型采用简化的6自由度连杆模型，足部采用平面足底结构；

预训练控制参数采用改进的DQN网络结构的深度强化学习进行控制器的训练；

双足机器人步行运动是指通过训练的控制器实现稳定性。

作为优选，所述预训练控制参数具体是指：首先，利用三维建模建立双足机器人模型并导入到仿真平台预训练基于改进DQN的深度强化学习网络。