[发明专利]一种基于深度强化学习的空间双臂系统约束运动规划方法

说明书

本发明公开了一种基于深度强化学习的空间双臂系统约束运动规划方法，步骤如下：1）利用广义雅可比矩阵建立自由漂浮空间双机械臂系统的运动学模型；2）基于上述的空间双臂系统的运动学模型，结合DDPG算法，设计空间双臂系统运动规划算法；3）对DDPG算法中奖励函数进行设计，以实现对空间双臂系统运动规划算法中各约束条件的满足，包括机械臂末端执行机构的速度约束和双机械臂协同运动的自碰撞约束。本发明提高了运动规划算法的泛用性与安全性。

技术领域

本发明属于空间机械臂运动规划技术领域，具体涉及一种基于深度强化学习的空间双臂系统约束运动规划方法。

背景技术

空间机械臂作为空间操控任务中十分有效的一种执行机构，在修复故障卫星、清除空间碎片、组装大型空间结构等空间操控任务中都具有很高的工程应用价值。由于空间中微重力环境的影响，空间机械臂的运动特性与地面机械臂存在明显的差异，具体体现在地面机械臂一般具有固定的基座，而空间机械臂在执行任务的过程中基座一般都处于自由漂浮的状态。空间双机械臂系统相比于空间单机械臂系统而言在执行操控任务时更加安全可靠，且具有更高的灵活性，空间双臂系统的运动规划技术是研发空间双臂系统的一项关键技术。

目前，针对空间双臂系统的运动规划问题，往往采用遗传算法或粒子群算法等启发式算法进行寻优处理，然而采用启发式算法往往只能针对特定的一组空间机械臂初始构型与目标未知进行点对点的运动规划，而当空间机械臂初始构型或目标抓取点位置发生变化时，则需要从头开始重新进行一次运算，因此该方法的泛用性较差。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种基于深度强化学习的空间双臂系统约束运动规划方法，以解决现有技术中传统运动规划方法泛用性差，以及无约束的基于深度强化学习算法的运动规划方法造成的机械臂碰撞损伤等问题。

为达到上述目的，本发明采用的技术方案如下：

本发明的一种基于深度强化学习的空间双臂系统约束运动规划方法，步骤如下：

1)利用广义雅可比矩阵建立自由漂浮空间双机械臂系统的运动学模型；

2)基于上述的空间双臂系统的运动学模型，结合DDPG算法，设计空间双臂系统运动规划算法；

3)对DDPG算法中奖励函数进行设计，以实现对空间双臂系统运动规划算法中各约束条件的满足，包括机械臂末端执行机构的速度约束和双机械臂协同运动的自碰撞约束。

进一步地，所述步骤1)具体包括：根据下式(1)建立空间双机械臂系统的运动学模型：

其中，^Iv₀与^Iω₀分别为空间机械臂基座在惯性参考系下的速度矢量与角速度矢量；与分别为第1个机械臂在惯性参考系下的速度矢量与角速度矢量；与分别为第2个机械臂在惯性参考系下的速度矢量与角速度矢量；和分别为两臂各关节角的角速度；M为空间机械臂系统的质量矩阵，r_0g＝r_g-r₀，r_g表示系统质心位置，r₀表示空间机械臂基座位置，算子×表示斜对称矩阵；J₀和J_φ为机械臂系统分别对关节角和基座的雅可比矩阵，其中：

式中，为第i关节的角速度方向矢量，为第i关节的位置矢量，为第i连杆的质心位置矢量，I为惯性张量矩阵。

进一步地，所述步骤2)具体包括：