[发明专利]一种多任务目标对象捕获方法、装置及电子设备

说明书

本公开提出一种多任务目标对象捕获方法、装置及电子设备，涉及人工智能技术领域，其中，该方法包括：接收预设范围内的三维点云数据和图像帧数据；根据三维点云数据和图像帧数据，确定目标对象的空间位置及抓取点的姿态数据；根据路径规划结果、空间位置及抓取点的姿态数据，生成目标对象的捕获方案，以实现目标对象的捕获。由此，结合路径规划结果、目标对象的空间位置及抓取点的姿态数据，生成目标对象的捕获方案，从而实现对抓取点的有效判断，提高目标对象捕获的成功率。

技术领域

本公开涉及人工智能技术领域，尤其涉及一种多任务目标对象捕获方法、装置及电子设备。

背景技术

目前，在智能制造蓬勃发展的背景下，机器人工业得到了爆发式增长，机械臂作为一种能够精细准确模拟人工动作的机器人，可以较好地替代人工从事危险场景或者密集型重复性的工作任务。

相关技术中，机械臂在目标对象的抓取作业过程中，根据机械臂末端执行机构的作业范围是否大于目标对象的判断原则，实现目标对象的捕获。

上述方案中，仅仅根据机械臂末端执行机构的作业范围是否大于目标对象，进行目标对象的捕获，无法对机械臂作业视野范围内目标对象的抓取点进行有效判断，捕获的成功率低。

发明内容

本公开提供一种多任务目标对象捕获方法、装置及电子设备，以解决相关技术中仅仅根据机械臂末端执行机构的作业范围是否大于目标对象，进行目标对象的捕获，无法对机械臂作业视野范围内目标对象的抓取点进行有效判断，捕获的成功率低。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种多任务目标对象捕获方法，包括：接收预设范围内的三维点云数据和图像帧数据；根据所述三维点云数据和所述图像帧数据，确定目标对象的空间位置及抓取点的姿态数据；根据路径规划结果、所述空间位置及所述抓取点的姿态数据，生成所述目标对象的捕获方案，以实现目标对象的捕获。

可选地，所述根据所述三维点云数据和所述图像帧数据，确定目标对象的空间位置，包括：对所述三维点云数据及所述图像帧数据进行预处理，得到预处理后的所述三维点云数据及所述图像帧数据；根据所述预处理后的三维点云数据及所述图像帧数据，获取所述目标对象的视觉图像数据；将所述目标对象的视觉图像数据与模板库中的模型进行数据匹配，获取所述目标对象的空间位置。

可选地，所述根据所述三维点云数据和所述图像帧数据，确定目标对象的抓取点的姿态数据，包括：根据所述图像帧数据，确定所述目标对象的二维检测框及类别数据；基于所述二维检测框、所述类别数据、预处理后的三维点云数据及图像帧数据，获取所述二维检测框中的所述目标对象的视觉图像数据；将所述二维检测框中的所述目标对象的视觉图像数据与模板库中的模型进行数据匹配，获取所述抓取点的姿态数据。

可选地，所述方法还包括：根据视觉传感器的位姿数据、所述目标对象的空间位置及所述抓取点的姿态数据，获取所述目标对象的坐标系与所述视觉传感器的坐标系之间的第一转换关系；获取所述视觉传感器的坐标系与机械臂本体的坐标系之间的第二转换关系；根据所述第一转换关系及所述第二转换关系，构建所述目标对象、所述视觉传感器和所述机械臂本体之间的坐标系。

可选地，所述方法还包括：根据所述三维点云数据，生成所述目标对象的第一模型；对所述目标对象的第一模型进行去噪处理，得到所述目标对象的第二模型；针对所述第二模型进行参数标注，得到参数标注后的模型；所述参数包括抓取点的姿态数据、目标对象的类别数据；将所述参数标注后的模型存储至模板库中。

可选地，所述方法还包括：根据所述目标对象的属性数据，确定所述目标对象的跟踪边框的编号；所述属性数据包括以下数据的至少一种：所述目标对象进入预设范围内的时间顺序、体积、颜色、距离；根据所述跟踪边框的编号，确定所述跟踪边框的编号对应的抓取点。