[发明专利]一种基于深度强化学习的机器人旋拧阀门系统及方法

权利要求书

1.一种基于深度强化学习的机器人旋拧阀门系统，其特征在于，包括：

深度相机，其用于采集阀门图像并传送至控制器；

六维力传感器，其用于采集旋拧阀门过程中的机械臂末端力/力矩信息并传送至控制器；

末端执行器，其位于机器臂本体末端，用于带动阀门旋转；

控制器，其用于：

接收阀门图像并提取阀门特征，解算出阀门位姿；

根据阀门位姿，控制机械臂运动至旋拧阀门的初始期望作业位置，并使得机械臂处于期望初始姿态；

根据机械臂当前姿态和机械臂末端当前力/力矩信息获取当前旋拧状态，再基于深度强化学习的机器人旋拧阀门模型，输出机械臂动作决策指令。

2.如权利要求1所述的基于深度强化学习的机器人旋拧阀门系统，其特征在于，机械臂动作决策指令包括机械臂位置调整大小和姿态偏转角度。

3.如权利要求1所述的基于深度强化学习的机器人旋拧阀门系统，其特征在于，所述控制器，还用于通过逆运动学求解各关节角，控制机械臂进行相应的姿态和位置调整，以至在旋拧过程中末端工具轴线相对阀门手轮轴线相重合且以恒力跟踪阀门轴向位置，保证旋拧过程顺利进行并完成整个阀门旋拧过程。

4.如权利要求1所述的基于深度强化学习的机器人旋拧阀门系统，其特征在于，机械臂的期望初始姿态为：末端执行器轴线垂直于阀门所在平面，且与阀门轴线重合，旋拧插进阀门手轮内。

5.如权利要求1所述的基于深度强化学习的机器人旋拧阀门系统，其特征在于，所述六维力传感器安装在机械臂末端法兰盘上，介于第六臂与末端执行器之间。

6.如权利要求1所述的基于深度强化学习的机器人旋拧阀门系统，其特征在于，所述控制器，还用于根据提取的阀门特征来判断阀门关闭状态；若阀门关闭，则结束作业；若未关闭，则继续进行旋拧作业。

7.如权利要求1所述的基于深度强化学习的机器人旋拧阀门系统，其特征在于，所述控制器，还用于评价旋拧过程是否完成：当末端执行器z向位移不小于阀门关闭所需轴向位移，且检测z轴向受力不小于所设力阈值时，阀门关闭，结束旋拧过程。

8.如权利要求1所述的基于深度强化学习的机器人旋拧阀门系统，其特征在于，基于深度强化学习的机器人旋拧阀门模型包括评价网络、策略网络以及目标评价网络和目标策略网络，评价网络根据所采取策略计算当前Q值，更新网络参数；目标评价网络负责计算目标Q值，策略网络根据评价网络的评价结果进行网络参数的更新；目标策略网络根据下一旋拧状态选择机械臂下一最优动作，并反馈给目标评价网络；Q值为在初始旋拧状态下机械臂采取一系列动作后的累积奖励。

9.如权利要求1所述的基于深度强化学习的机器人旋拧阀门系统，其特征在于，目标策略网络和目标评价网络与策略网络和评价网络结构完全相同。

10.一种基于如权利要求1-9中任一项所述的基于深度强化学习的机器人旋拧阀门系统的工作方法，其特征在于，包括：

采集阀门图像，提取阀门特征，解算出阀门位姿；

根据阀门位姿，控制机械臂运动至旋拧阀门的初始期望作业位置，并使得机械臂处于期望初始姿态；

采集旋拧阀门过程中的机械臂末端力/力矩信息，再根据机械臂当前姿态获取当前旋拧状态，基于深度强化学习的机器人旋拧阀门模型，输出机械臂动作决策指令。