[发明专利]一种控制机械臂的方法及装置

说明书

本发明公开了一种控制机械臂的方法，用以准确确定夹取点的三维坐标，从而实现稳定的、具有鲁棒性的夹取过程。所述方法，包括：获取烹调对象所处环境的图像，所述图像包括红外热图像和深度图像；根据所述红外热图像确定所述烹调对象的边缘；根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标；根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备控制机械臂移动并在所述夹取点夹取所述烹调对象。

技术领域

本发明涉及机器人技术领域，更具体地，涉及一种控制机械臂的方法。

背景技术

随着工业机械臂在工业生产线分拣技术的成熟应用，以及近年来在立体化仓储和医疗上的成功扩展，各行业对于工业机械臂智能化的需求越来越大，机械臂也将越来越多替代人的双臂来完成更复杂更精密的流程化工作，智能家居、智慧厨房等行业细分领域，将无疑是机械臂大展拳脚的重要舞台。例如可以利用机械臂夹取烤盘上的食物。目前，可以通过可见光图像以及指尖力传感器来夹取食物，然而，通过这类图像通常无法很精准地区别烤盘和其上的食物，并且，指尖力传感器在高温环境下无法进行可靠的反馈，以及成本较高。

发明内容

鉴于上述问题，本发明提出了一种控制机械臂的方法及装置，该方法可以精准地控制机械臂夹取烹调的食物。

根据本发明实施例的第一方面，提供一种控制机械臂的方法，包括：

获取烹调对象所处环境的图像，所述图像包括红外热图像和深度图像；

根据所述红外热图像确定所述烹调对象的边缘；

根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标；

根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备控制机械臂移动并在所述夹取点夹取所述烹调对象。

本发明的实施例提供的技术方案可以包括以下有益效果：本实施例利用红外热图像和深度图像，准确地确定烹调对象的边缘，准确确定夹取点的三维坐标，从而实现稳定的、具有鲁棒性的夹取过程。

在一个实施例中，优选地，所述根据所述烹调对象的边缘以及所述深度图像，确定夹取点的三维坐标，包括：

根据所述烹调对象的边缘，确定所述烹调对象的夹取点投影到烹调对象所在平面的平面坐标；

根据所述平面坐标以及所述深度图像，计算所述夹取点的三维坐标。

本发明的实施例提供的技术方案可以包括以下有益效果：本实施例通过烹调对象的边缘准确地确定夹取点的平面坐标，在平面坐标基础上确定夹取点的三维坐标，实现了准确确定夹取点的三维坐标。

在一个实施例中，优选地，所述根据所述平面坐标以及所述深度图像，计算所述夹取点的三维坐标，包括：

根据所述平面坐标，结合所述深度图像的点云单应变换计算夹取点的三维坐标。

本发明的实施例提供的技术方案可以包括以下有益效果：在各种烹调环境中，计算点云投影单应矩阵和图像边缘进行匹配会极大的提高计算效率，也可避免由于物体遮挡所产生的匹配错误，提高算法的鲁棒性。

在一个实施例中，优选地，所述根据所述夹取点的三维坐标，向机械臂操控设备发送指令，以使所述机械臂操控设备控制机械臂移动并在所述夹取点夹取所述烹调对象，包括：

根据所述夹取点的三维坐标和机械臂末端连接的夹具，计算机械臂末端坐标；

向机械臂操控设备发送指令，以使所述机械臂操控设备控制所述机械臂移动至所述末端坐标，并使所述夹具在所述夹取点夹取所述烹调对象。