[发明专利]一种基于强化学习的冗余机械臂路径规划方法

说明书

本发明涉及一种基于强化学习的冗余机械臂路径规划方法，基于深度强化学习算法，构建冗余机械臂训练环境，设计奖励函数对机械臂进行训练。虽然进行离线训练的时间较长，但训练成功后的网络模型可以直接使用，有效地规避了传统路径规划算法的不足，提高了遥操作的时效性和交互效率。

技术领域

本发明属于遥操作任务中路径规划方向，涉及一种基于强化学习的冗余机械臂路径规划方法。

背景技术

遥操作系统是利用机器人，通过传输媒介由操作人员在相对安全的环境中向远端机器人发送指令，远端机器人利用自身搭载的传感器获取数据进行反馈，操作人员利用这些反馈进行下一步决策的系统。遥操作系统广泛应用在空间安装，核工业，深海探测，军事等高危或远距离环境中。

遥操作系统中使用的机械臂从最开始的三轴机械臂，六轴机械臂发展具有更高冗余性的七轴机械臂，乃至九轴机械臂。其中七自由度冗余机械臂凭借其良好的仿人特性逐渐被广泛采用，相较于传统的六自由度机械臂，机械臂的末端执行器可以以任意姿态到达工作空间的任意位置，可以避免奇异，避免关节超限，可以在任务空间进行避障。

在遥操作任务中，机械臂的路径规划作为重要的一部分，采用多种方法进行求解，如人工势场法，RRT算法，遗传算法等，这些算法或存在易陷入局部最优解，或规划的路径不平滑，或占用大量存储空间，不符合遥操作虚拟仿真端“实时性”的要求，给冗余机械臂的路径规划带来不便。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于强化学习的冗余机械臂路径规划方法，聚焦于遥操作中冗余机械臂的路径规划问题，针对传统路径规划算法的求解问题，基于Unity ml-agents强化学习算法训练机械臂完成路径规划任务，大大提升了解算的速度同时减少了程序运行时的内存消耗，提高了遥操作任务的操作效率。

技术方案

一种基于强化学习的冗余机械臂路径规划方法，其特征在于步骤如下：

步骤1：根据Kuka iiwaR820冗余机械臂的DH参数，在建模软件调整每个模型旋转轴的位置和方向；将修改好的模型导出成.fbx文件，导入unity软件中；

步骤2、强化学习环境配置：

1、在unity软件中，采用三维建模得到训练模型的环境，将环境中碰撞相关的模型的Tag设置为“obstacle”；

2、每个场景中必须包含且只包含一个Academy，用于与Python强化学习网络进行通讯；

3、设置机械臂的Agent组件：新建脚本并继承Agent类，重写CollcetObservation()方法，在其中使用addVectorObs()方法添加Agent观测的变量，包括末端执行器的位置target.transform.position和姿态target.transform.locaRotation，当前末端执行器与目标位置的距离distance，当前末端执行器与末端姿态的差异difQuaternion，环境的障碍物信息meshObstacle；

步骤3、奖惩函数设计：

1、在Agent的AgentAction()方法中重写强化学习的奖惩方法，当机械臂到达末端位姿且不发生碰撞时，使用SetAward()方法将奖励设置为1，并标记为Done；

2、采用能量最优的原则，机械臂在到达目标点前每次仿真移动都会有-0.01的惩罚；

3、机械臂的移动使得其末端执行器较上一个状态State更接近目标时，得到0.05的奖励；

4、机械臂在运动过程中与场景障碍物发生碰撞或与自身发生碰撞时，惩罚值为-1,标记为Done并结束本次episode；