[发明专利]基于深度强化学习的机械臂旋拧阀门的自适应方法

说明书

本发明公开了一种基于深度强化学习的机械臂旋拧阀门的自适应方法，属于机器学习领域。该自适应方法包括：S1、在阀门的手轮上设置一标签；并使其上设置有弹性垫块的夹持器在靠近标签的位置夹持阀门手轮，所述夹持器安装在机械臂上；S2、根获取夹持器中心位置P₀；S3、获取标签中心位置F_t；S4、将夹持器中心位置P₀和标签中心位置F_t输入阀门旋拧操作模型获得所述机械臂和夹持器执行动作的指令；S5、根据所述指令控制机械臂和夹持器动作；S6、动作结束后，根据所述上位机更新夹持器中心位置P₀，并以此判断夹持器中心是否到达标签中心位置F_t，若是，执行步骤S7，若否，返回步骤S4；S7、判断是否完成旋拧任务，若否，返回步骤S3。

技术领域

本发明涉及机器学习领域，具体涉及一种基于深度强化学习的机械臂旋拧阀门的自适应方法。

背景技术

危险环境作业中，采用机器人进行远程作业已经被国际社会广泛认可，而针对危险环境下的阀门旋拧作业，一般通过遥操作或视觉引导完成机械臂对阀门夹持的基础上，采用传统的示教或编程的控制方法执行后续旋拧任务。而传统的示教或编程的控制方法执行后续旋拧任务的适应性较差。

发明内容

针对现有技术中的上述不足，本发明旨在提供一种能够提高机械臂后续旋拧任务适应性的基于深度强化学习的机械臂旋拧阀门的自适应方法。

为了达到上述发明创造的目的，本发明采用的技术方案为：

提供一种基于深度强化学习的机械臂旋拧阀门的自适应方法，其包括：

S1、在阀门的手轮上设置一标签；并使其上设置有弹性垫块的夹持器在靠近标签的位置夹持阀门手轮，夹持器安装在机械臂上；

S2、根据与机械臂连接的上位机获取夹持器中心位置P₀；

S3、通过夹持器上安装的相机对位于标签附近的阀门表面形貌特性进行提取，并根据表面形貌特征获取标签中心位置F_t；

S4、将夹持器中心位置P₀和标签中心位置F_t输入阀门旋拧操作模型获得机械臂和夹持器执行动作的指令，阀门旋拧操作模型是基于深度强化学习算法建模训练得到的；

S5、根据指令控制机械臂和夹持器动作；

S6、动作结束后，根据上位机更新夹持器中心位置P₀，并以此判断夹持器中心是否到达步骤S2中获得的标签中心位置F_t，若是，执行步骤S7，若否，返回步骤S4；

S7、判断是否完成旋拧任务，若否，返回步骤S3。

进一步地，步骤S5中，建模训练为利用马尔科夫决策过程对阀门旋拧最优策略问题建模并计算最优解。

进一步地，步骤S7中，通过下列方法判断是否完成旋拧任务：

通过夹持器起始中心位置P₀和夹持器当前中心位置P₀计算夹持器中心位置运行轨迹的第一圆心角，并将第一圆心角与上位机内部预设的第二圆心角进行比较，第一圆心角大于第二圆心角则判断完成旋拧任务。

进一步地，步骤S4中，建模训练包括：

S401、在阀门的手轮上设置一标签，并使其上设置有弹性垫块的夹持器在标签附近夹持住阀门手轮，夹持器安装在机械臂上；

S402、根据与机械臂连接的上位机获取夹持器中心位置P₀；