[发明专利]基于深度强化学习与动态运动基元的机械臂自主抓取方法

说明书

本发明公开了基于深度强化学习与动态运动基元的机械臂自主抓取方法，包括如下步骤：步骤1：安装摄像机图组件，确保识别区域不被遮挡，并对抓取目标区域图像进行预处理，并作为状态信息发送给深度强化学习智能体；步骤2：基于所述状态和深度强化学习原理构建局部策略近端优化训练模型；步骤3：融合动态运动基元和模仿学习构建一种新的混合运动基元模型；步骤4：基于所述的模型训练机械臂自主抓取物体。本发明能够有效解决基于传统深度强化学习的机械臂关节运动不平滑问题，通过结合动态运动基元算法，把元参数的学习问题转化为强化学习问题，可以利用深度强化学习的训练方法使得机械臂完成自主抓取任务。

技术领域

本发明涉及机械臂和深度强化学习训练系统技术领域，具体为基于深度强化学习与动态运动基元的机械臂自主抓取方法。

背景技术

目前机器人技术的研究已经从传统的机械动力学开始向智能化控制方向进行转变，特别是综合吸收了控制理论、人工神经网络和机器学习等领域的研究成果后，机器人技术已经逐渐成为了人工智能领域的核心之一。作为近年来机器学习领域中的研究热点之一，深度强化学习无论是在理论研究上还是在实际应用中都取得了丰富的成果。然而，机器人在解决现实生活中遇到的问题时，只有一个好的深度强化学习算法是远远不够的。这是因为传统的深度强化学习算法的控制策略是逐步生成的，这种策略更倾向于使机器人快速的完成任务，而不是模仿示教运动轨迹平滑的运动。由于机器人关节运动是由电机进行驱动控制的，如果电机的运动轨迹(角度轨迹、角速度轨迹和角加速度轨迹)具有较大的波动性，此时电机的驱动力矩也会产生很大的波动性，甚至是较大的突变值，这容易对机器人关节造成损害。因此，与人类运动一样，机械臂的运动需要平滑的进行编码，没有突然的加速或颠簸的过程，只有这样才能确保机器人的稳定性和安全性。

发明内容

本发明的目的在于提供基于深度强化学习与动态运动基元的机械臂自主抓取方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于深度强化学习与动态运动基元的机械臂自主抓取方法，包括如下步骤：

步骤1：安装摄像机图组件，确保识别区域不被遮挡，并对抓取目标区域图像进行预处理，并作为状态信息发送给深度强化学习智能体；

步骤2：基于所述状态和深度强化学习原理构建局部策略近端优化训练模型；

步骤3：融合动态运动基元和模仿学习构建一种新的混合运动基元模型；

步骤4：基于所述的模型训练机械臂自主抓取物体。

优选的，在步骤1中，安装摄像机图组件，确保识别区域不被遮挡，并对抓取目标区域图像进行采集处理，作为状态信息发送给深度强化学习智能体，包括：

摄像机，所述摄像机为双目摄像机Bumblee2，所述摄像机安装在机械臂距离底座上方0.8-1米，且在识别区域正前方，确保机械臂开始工作时无遮挡；摄像机拍摄的识别区域的图像信息，经采集预处理后，该信息将作为环境状态被系统接收；

机械臂，所述机械臂为具有5个自由度的UR5机器人，各关节能够灵活运动。

优选的，在步骤2中，基于所述状态和深度强化学习原理构建局部策略近端优化训练模型包括：在系统中通过设计奖赏函数来评判机械臂是否抓取到物体，奖赏函数的设定为稀疏的，当机械臂完成抓取任务的时候获得奖赏为+1，其它时刻为零，从而引导机械臂快速完成抓取任务获得更多的奖赏回报；机械臂从初始状态到完成抓取任务的运动轨迹可以通过一组元参数δ表示，

是机械臂到达目标位置时对应的关节角度和角速度的值，局部策略近端优化训练模型的目的就是训练学习一个从状态s到元参数δ的映射函数δ(s)；将元参数自我学习问题建模为强化学习问题，目标函数可以表示为：