[发明专利]一种安全强化学习的狭窄空间机器人作业规划方法

权利要求书

1.一种安全强化学习的狭窄空间机器人作业规划方法，其特征在于，包括：

在机械臂运动之前，设置规划任务以及目标点；

根据机械臂当前的状态信息以及相关运动学约束，计算出期望的加速度a_t+1N，同时计算制动加速度a_t+1B，从而构建机械臂可行的动作空间，包括：

定义关节的运动学约束；

在离散的时间点里检测机器人与障碍物以及机器人的机械臂连杆之间的最小距离来确定碰撞情况，若最小距离小于预设的安全距离阈值，则视为发生碰撞；

通过pybullet环境中内置的传感器获取机械臂的状态信息；

建立一个神经网络作为动作预测网络用以预测下一时刻的动作，将关节的状态信息输入到动作预测网络中，预测每个关节相应的动作标量m_t+1∈[-1,1]，再由式a_t+1N＝a_t+1min+(1+m_t+1)/2·(a_t+1max-a_t+1min)得到关节的期望加速度a_t+1N，其中a_t+1min、a_t+1max分别为关节的最小、最大安全加速度；知道期望加速度之后，便可求得关节在下一时刻t+1的速度以及位置；

计算制动加速度：当前时刻t对应的关节速度v_t0时，取m’_t+1＝2*m_t+1-1，否则取m’_t+1＝2(1-m_t+1)-1，将m’_t+1带入a_t+1B＝a_t+1min+(1+m’_t+1)/2·(a_t+1max-a_t+1min)计算得到制动加速度；

对关节的期望加速度进行a_t+1N进行测试，若执行该动作后机械臂未发生碰撞且未违反定义的关节的运动学约束，则期望加速度a_t+1N是可行的，将期望加速度a_t+1N作为替代动作进行执行；否则将计算的制动加速度a_t+1B作为替代动作进行执行；各关节所计算出的期望加速度a_t+1N在进行制动后执行；从当前时刻t对应的状态信息开始，执行相应的动作后若无碰撞发生，则行为是安全的，否则停止运动；

由机械臂每个关节的替代动作组成了机械臂可行的动作空间；利用深度强化学习算法在所述动作空间下为机械臂规划运动轨迹并获得最优策略。

2.根据权利要求1所述的安全强化学习的狭窄空间机器人作业规划方法，其特征在于，所述目标点为焊接的起点，规划任务为规划出一条安全的路径使得机械臂末端运动到焊接起点。

3.根据权利要求1所述的安全强化学习的狭窄空间机器人作业规划方法，其特征在于，所述状态信息包括每个关节的位置、速度、加速度以及与障碍物之间的距离。

4.根据权利要求1所述的安全强化学习的狭窄空间机器人作业规划方法，其特征在于，在运动过程为了防止中发生振荡现象，取a_t+1max＝m’_t+1*(a_t+1max-a_t+1min)，a_t+1min＝a_t+1min+(1-m’_t+1)*(a_t+1max-a_t+1min)。

5.根据权利要求1所述的安全强化学习的狭窄空间机器人作业规划方法，其特征在于，所述深度强化学习算法，包括：

设置Actor网络和Critic网络作为强化学习网络，Actor更新使用的loss函数采用了自适应KL惩罚系数的loss函数，critic采用TD-error更新，隐藏层使用swish作为激活函数，输出层使用tanh作为激活函数；

在所述动作空间下进行路径规划的训练；

设置训练结束的条件，当机械臂末端连续多次到达预设的目标点可视为规划。成功停止训练。