[发明专利]一种多任务目标对象捕获方法、装置及电子设备

权利要求书

1.一种多任务目标对象捕获方法，其特征在于，包括：

接收预设范围内的三维点云数据和图像帧数据；

根据所述三维点云数据和所述图像帧数据，确定目标对象的空间位置及抓取点的姿态数据；

根据路径规划结果、所述空间位置及所述抓取点的姿态数据，生成所述目标对象的捕获方案，以实现目标对象的捕获。

2.根据权利要求1所述的方法，其特征在于，所述根据所述三维点云数据和所述图像帧数据，确定目标对象的空间位置，包括：

对所述三维点云数据及所述图像帧数据进行预处理，得到预处理后的所述三维点云数据及所述图像帧数据；

根据所述预处理后的三维点云数据及所述图像帧数据，获取所述目标对象的视觉图像数据；

将所述目标对象的视觉图像数据与模板库中的模型进行数据匹配，获取所述目标对象的空间位置。

3.根据权利要求1所述的方法，其特征在于，所述根据所述三维点云数据和所述图像帧数据，确定目标对象的抓取点的姿态数据，包括：

根据所述图像帧数据，确定所述目标对象的二维检测框及类别数据；

基于所述二维检测框、所述类别数据、预处理后的三维点云数据及图像帧数据，获取所述二维检测框中的所述目标对象的视觉图像数据；

将所述二维检测框中的所述目标对象的视觉图像数据与模板库中的模型进行数据匹配，获取所述抓取点的姿态数据。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据视觉传感器的位姿数据、所述目标对象的空间位置及所述抓取点的姿态数据，获取所述目标对象的坐标系与所述视觉传感器的坐标系之间的第一转换关系；

获取所述视觉传感器的坐标系与机械臂本体的坐标系之间的第二转换关系；

根据所述第一转换关系及所述第二转换关系，构建所述目标对象、所述视觉传感器和所述机械臂本体之间的坐标系。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述三维点云数据，生成所述目标对象的第一模型；

对所述目标对象的第一模型进行去噪处理，得到所述目标对象的第二模型；

针对所述第二模型进行参数标注，得到参数标注后的模型；所述参数包括抓取点的姿态数据、目标对象的类别数据；

将所述参数标注后的模型存储至模板库中。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述目标对象的属性数据，确定所述目标对象的跟踪边框的编号；所述属性数据包括以下数据的至少一种：所述目标对象进入预设范围内的时间顺序、体积、颜色、距离；

根据所述跟踪边框的编号，确定所述跟踪边框的编号对应的抓取点。

7.一种多任务目标对象捕获装置，其特征在于，包括：

接收模块，用于接收预设范围内的三维点云数据和图像帧数据；

第一确定模块，用于根据所述三维点云数据和所述图像帧数据，确定目标对象的空间位置及抓取点的姿态数据；

第一生成模块，用于根据路径规划结果、所述空间位置及所述抓取点的姿态数据，生成所述目标对象的捕获方案，以实现目标对象的捕获。

8.根据权利要求7所述的装置，其特征在于，所述第一确定模块具体用于，

对所述三维点云数据及所述图像帧数据进行预处理，得到预处理后的所述三维点云数据及所述图像帧数据；

根据所述预处理后的三维点云数据及所述图像帧数据，获取所述目标对象的视觉图像数据；

将所述目标对象的视觉图像数据与模板库中的模型进行数据匹配，获取所述目标对象的空间位置。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1-6中任一项所述的多任务目标对象捕获的方法。

10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-6中任一项所述的多任务目标对象捕获的方法。