[发明专利]一种配电网带电作业机械臂导航避障方法及系统

权利要求书

1.一种配电网带电作业机械臂导航避障方法，其特征在于，包括：

获取机械臂在实际作业场景中的状态空间集合s；

将所述状态空间集合s代入训练好的策略神经网络模型，获得用于控制机械臂各关节动作的关节转角集合a；

若根据所述关节转角集合a中的角度改变量驱动机械臂各关节动作满足所有预设安全条件，则向机械臂发出执行所述关节转角集合a中各关节动作的信号；

所述策略神经网络模型的训练过程，包括：

构建具有一定节点数、隐藏层数和网络结构及初始化参数的策略神经网络模型；获取机械臂在模拟作业场景中的状态空间集合s；

根据所述状态空间集合s计算奖惩函数r和关节转角集合a，并依照采样时间顺序将所述状态空间集合s、关节转角集合a和奖惩函数r整理为策略链样本；

基于所述策略链样本，使用深度强化学习算法对策略神经网络模型进行训练，得到训练好的策略神经网络模型；

所述策略神经网络模型包括：新策略网络、旧策略网络和价值网络三部分；三部分网络的参数分别为θ_d,θ′_d和θ_v；三部分网络均为全连接深度神经网络，网络参数θ均包括权重ω和偏差b；

所述状态空间集合s包括机械臂在相应作业场景中的目标点向量坐标、障碍物向量坐标、机械臂末端到目标点的向量坐标、机械臂各关节到障碍物的向量坐标最短距离以及机械臂各关节到达目标点的状态；

所述预设安全条件包括：

机械臂臂体未触碰障碍物；

机械臂臂体与高压设备的距离大于电气安全作业距离；和机械臂臂体与目标点的距离未超出预设范围。

2.如权利要求1所述的方法，其特征在于，所述获得用于控制机械臂各关节动作的关节转角集合a之后，还包括：

若根据所述关节转角集合a中的角度改变量驱动机械臂各关节动作不满足所有预设安全条件，则向机械臂发出终止动作信号并切换至人工作业模式，然后基于本次作业获得的所述状态空间集合s和关节转角集合a重新训练策略神经网络模型。

3.如权利要求1所述的方法，其特征在于，所述将所述状态空间集合s代入训练好的策略神经网络模型，获得用于控制机械臂各关节动作的关节转角集合a，包括：

将所述实际作业场景中的状态空间集合s作为训练好的策略神经网络模型的输入，控制策略神经网络模型执行前向计算后输出新策略分布函数；

对所述新策略分布函数进行随机采样，获得关节转角集合a。

4.如权利要求1所述的方法，其特征在于，所述状态空间集合s包括机械臂在相应作业场景中的目标点向量坐标、障碍物向量坐标、机械臂末端到目标点的向量坐标机械臂各关节到障碍物的向量坐标最短距离D_MS以及机械臂各关节到达目标点的状态St。

5.如权利要求4所述的方法，其特征在于，根据所述状态空间集合s计算奖惩函数r，包括：

r＝R_Aim+R_Col+R_Pos

式中，R_Aim为机械臂末端到达目标点的奖励值；R_Col为机械臂与障碍物发生碰撞时的惩罚值；R_Pos为机械臂的每一段臂体与各障碍物之间的惩罚值之和；c₁-c₅为奖励函数系数；L为机械臂末端节点到目标点的距离，L_max为机械臂末端节点到目标点的最大距离；d_m，n为机械臂各臂段与障碍物之间的最短距离，r_m，n为作业臂各臂段与障碍物距离小于预设危险阈值时所受到的惩罚值，m、M分别为作业空间中的障碍数和障碍物总数，n、N分别为机械臂的臂段数和臂段总数，r_danger为危险阈值。

6.如权利要求1所述的方法，其特征在于，根据所述状态空间集合s计算关节转角集合a，包括：

将所述实际作业场景中的状态空间集合s输入构建好的策略神经网络模型得到新策略分布函数

对进行随机采样，得到关节转角集合a。