[发明专利]基于全局和局部视觉语义的机器人动态抓取方法及系统

权利要求书

1.一种基于全局和局部视觉语义的机器人动态抓取方法，其特征在于，包括以下步骤：

步骤S1：识别待抓取物体的物体类别与物体尺寸，获取所述待抓取物体在相机坐标系中的位置和姿态，确定夹手的尺寸，所述步骤S1包括：

采集不同位姿和不同情况下物体的图片；

通过标注工具对图片中物体的类别进行标注；

采用深度神经网络进行数据训练，并进行语义和实例划分，以获得相应物体在图片的位置和区域；

采用OpenCV图像算法处理所述神经网络得到的类别，并获得目标物体的区域，获取输出参数，其中，所述输出参数包括：物体的类别、物体坐标系相对于全局双目相机或者局部双目相机坐标系下的位置和姿态和夹手宽度；

步骤S2：通过全局双目相机对机械臂静态轨迹规划与局部双目相机对所述机械臂动态轨迹规划对所述待抓取物体进行抓取，以实现最优抓取，所述步骤S2包括：

利用所述全局双目相机获取所述待抓取物体相对于基座的位置，将物体坐标系转到所述全局双目相机坐标系再到基坐标系；

控制所述机械臂执行由全局静态轨迹规划，到达所述待抓取物体对应的预设区域；

将所述全局双目相机切换到所述局部双目相机，通过神经网络处理所述局部双目相机的照片，输出命令，执行动态的轨迹规划；

将抓取物体放置目标位置，完成期望的位置，并根据完成抓取后的状态生成反馈信息。

2.根据权利要求1所述的基于全局和局部视觉语义的机器人动态抓取方法，其特征在于，所述采用OpenCV图像算法处理所述神经网络得到的类别，并获得目标物体的区域，进一步包括：

通过最小矩形的方法框选物体，以获得矩形框和图像一边的夹角；

设定所述矩形框的中心点为抓取中心点，并用双目相机定位抓取深度信息；

通过落差计算物体在Z方向的高度，获得抓取深度，以此确定所述待抓取物体的坐标系，相对于所述全局双目相机坐标系或者所述局部双目相机坐标系的位姿，并通过像素推算所述待抓取物体的宽度，获取夹手的开合大小。

3.根据权利要求1所述的基于全局和局部视觉语义的机器人动态抓取方法，其特征在于，所述步骤S2还包括：

利用所述局部双目相机获取所述待抓取物体相对于基座的位置，将物体坐标系转到所述局部双目相机坐标系，再到末端执行器坐标系，最后到基坐标系；

控制所述机械臂执行由全局静态轨迹规划，到达所述待抓取物体对应的预设区域；

将所述全局双目相机切换到所述局部双目相机，通过神经网络处理所述局部双目相机的照片，输出命令，执行动态的轨迹规划；

将抓取物体放置目标位置，完成期望的位置，并根据完成抓取后的状态生成反馈信息。