[发明专利]基于全局和局部视觉语义的机器人动态抓取方法及系统

说明书

本发明公开了一种基于全局和局部视觉语义的机器人动态抓取方法及系统，其中，该方法包括以下步骤：识别待抓取物体的物体类别与物体尺寸，获取待抓取物体在相机坐标系中的位置和姿态，确定夹手的尺寸；通过全局双目相机对机械臂静态轨迹规划与局部双目相机对机械臂动态轨迹规划对待抓取物体进行抓取，以实现最优抓取。该方法提升被抓取物体位置和姿态的定位精确，自适应调整夹手的力度和大小，及动态规划和响应扰动，同时，简化物体的识别算法，提高物体识别的准确性。

技术领域

本发明涉及机器人视觉伺服技术领域，特别涉及一种基于全局和局部视觉语义的机器人动态抓取方法及系统。

背景技术

在相关技术中，实现物体的抓取的方式有两种，其中，第1种静态的方法：相机作为全局相机固定于机架，定点进行拍照，获得图片，进行分析处理，计算得到抓取点的位置和姿态，将指令传输至机器人控制器，机械臂执行预定义的抓取流程。同样相机可以作为局部相机固定于机械臂的末端，机械臂运行到某一位置进行定点拍照，执行同样预定义的抓取流程。第2种动态的方法：相机固定于机械臂的末端。采用视觉伺服的方法，追踪物体，当末端抓手相靠近物体，执行抓取动作。当然，相机也可以固定于侧方，但要清楚捕获到抓取物体的图像，但同时也会引入大的图像干扰。

但当前在机器人抓取中通常单一获取数据，从固定于机架的全局相机或者从固定于机械手臂末端的局部相机，很少进行多感知交互数据的处理。单一静态抓取方式和动态抓取方式的不足：静态抓取方法，无法对外界环境进行动态响应，比如抓取物体掉落，无法进行重新动态轨迹规划。此外，静态的抓取方法会限制定位的精度，相机距离物体过高会使得物体定位精度过低，当然，相机距离物体过近会增加机械臂碰撞的风险，不利于轨迹规划。对于动态抓取方法，往往将相机固定于末端，在实现全局定位的过程中，存在视野不足的缺陷，无法进行全局统计物体。

在相关技术中，当前实现物体识别的方式有两种，其中，第1种传统图像处理的方法：针对不同的物体，寻找可以区分的物体特征(颜色，尺寸，形状)，设计算法，识别物体。常使用OpenCV等图像库，设计算法，进行物体的识别。第2种采用深度学习的方法：将原始图片输入到神经网络，输出得到物体的类别标签。实现的过程：首先对图片贴标签，获得数据集，设计神经网络，将数据输入到网络中，得到物体的类别和在图片上的位置，再通过图像处理的方式获得抓取点的位置。

但采用传统视觉识别的方式，需要手工设计大量的算子，效率太低，且识别的准确性不够高。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于全局和局部视觉语义的机器人动态抓取方法，该方法提升被抓取物体位置和姿态的定位精确，自适应调整夹手的力度和大小，及动态规划和响应扰动，同时，简化物体的识别算法，提高物体识别的准确性。

本发明的另一个目的在于提出一种基于全局和局部视觉语义的机器人动态抓取系统。

为达到上述目的，本发明一方面提出了基于全局和局部视觉语义的机器人动态抓取方法，包括以下步骤：步骤S1：识别待抓取物体的物体类别与物体尺寸，获取所述待抓取物体在相机坐标系中的位置和姿态，确定夹手的尺寸；步骤S2：通过全局双目相机对机械臂静态轨迹规划与局部双目相机对所述机械臂动态轨迹规划对所述待抓取物体进行抓取，以实现最优抓取。