[发明专利]一种基于深度强化学习的双足机器人步态规划方法

权利要求书

1.一种基于深度强化学习的双足机器人步态规划方法，其特征在于，包括如下步骤：

步骤S1：建立双足机器人模型，描述机器人行走过程；

步骤S2：获取并处理人体步态数据和目标步态数据；

步骤S3：使用降噪自动编码器分别提取双足机器人步态数据与人体步态数据中的隐含特征；

步骤S4：利用深度强化学习对人体步态特征进行学习，进而规划双足机器人步态；其中，

步骤S1具体包括以下步骤：

步骤S101：建立4连杆有膝圆弧足机器人模型；其中，机器人模型包括2个大腿，2个小腿以及2个圆弧足，腿部由刚性杆通过铰链无摩擦地连接在一起，圆弧足分别固定连接在小腿上，支撑腿和摆动腿具有完全相同的质量和几何参数，且腿的质量均匀分布，机器人模型的膝关节处设置限位机构以模拟人体的膝关节功能，在髋关节设置两台电机，分别对支撑腿和摆动腿施加控制力矩；

步骤S102：以机器人行走过程中前进方向的右侧面为视点对模型步行过程进行分析，选择实时表征机器人状态的无量纲物理量，将所选择的物理量定义为机器人步行状态Θ_r，机器人步行状态被描述为：

其中，取逆时针旋转为正，θ_r1，为摆动腿小腿到竖直方向的角度和角速度；θ_r2，为摆动腿大腿到竖直方向的角度和角速度；θ_r3，为支撑腿小腿到竖直方向的角度和角速度；

步骤S2具体包括以下步骤：

步骤S201：将人体和机器人从摆动腿起摆到摆动腿与地面发生碰撞的过程定义为一个步态周期；

步骤S202：从CMU人体运动捕获数据库中选取人体正常行走过程数据集，将数据集进行人体划分并解算，得到人体步行过程描述；

步骤S203：以机器人模型为参照，取人体步行纵向的2D平面，定义人体步行状态为Θ_m，将人体步行过程描述中的所有数据使用Θ_m进行表示，并将Θ_m作为行向量，组合得到人体步态数据Θ_M；

步骤S204:从人体步态数据Θ_M中选取一个步态周期作为机器人的学习对象，提取学习对象数据中的奇数帧组成新的数据集，并定义为目标步态数据Θ_S，其中，目标步态数据Θ_S中任意行向量为提取得到的Θ_m；

步骤S205：将机器人在步态周期中的步行状态Θ_r按照Θ_S中的采样频率进行采样，组成机器人步态数据Θ_R，其中，机器人步态数据Θ_R中任意行向量为采样得到的Θ_r；

步骤S3具体包括：根据Θ_r、Θ_m的数据结构，构建两个结构相同的降噪自动编码器，对机器人步态数据Θ_R和目标步态数据Θ_S进行特征提取；将Θ_R、Θ_S的行向量逐一送入降噪自动编码器，并将得到的特征按原有顺序排列，组成机器人步态特征数据H_R和目标步态特征数据H_S，将H_R和H_S统一进行归一化处理以便用于深度强化学习，其中每个降噪自动编码器工作流程如下步骤：

S301：取Θ_R或Θ_S中一行向量Θ送入降噪自动编码器，降噪自动编码器使用二项分布对原始步态数据Θ进行随机擦除，被檫除数据置0，得到含有噪声的步态数据通过编码函数f将映射到隐藏层，得到隐藏层特征h，其中降噪自动编码器的编码函数为：

其中，w为输入层和隐藏层间的权重矩阵；s_f为编码函数f的激活函数，激活函数取Sigmod函数；

S302：隐藏层特征h通过解码函数g映射到输出层，得到重构输出y；重构输出y保持原始步态数据x的信息，其整体误差通过整体损失函数J_DAE来表示，其中降噪自动编码器的解码函数为：

其中,为隐藏层与输出层间的权重矩阵，且有s_g为解码函数的激活函数，同样为Sigmod函数；在给定的训练集中降噪自动编码器的整体损失函数：

其中θ_DAE是降噪自动编码器的参数，包括w，p，q；L定义为重构误差，用于刻画y与Θ的接近程度：

其中n为输入输出层的维度；

S303：降噪自动编码器训练过程使用梯度下降对J_DAE(θ)进行迭代计算以得到最小值，梯度下降对θ_DAE的更新函数：

其中α为学习速率，取值为[0,1]。