[发明专利]基于图神经网络的机器人自主工具构建方法、系统及相关设备

权利要求书

1.一种基于图神经网络的机器人自主工具构建方法，其特征在于，包括：

在仿真环境中自动生成机器人的训练数据，并获得了大量工具场景和零件场景的标注信息生成数据集；

在部署于真实机器人进行自动工具构建时，使用深度传感器进行参考工具场景以及候选零件场景的深度图的采集；

通过深度神经网络与门控图神经网络的结合，建立不同候选零件对间的特征连接，完成候选零件的选择以及构建姿态检测；

使用检测最小外接矩形的方式检测抓取部位，并最终操纵实体机器人根据之前检测到的信息完成工具的组装；

在仿真环境中生成机器人的训练数据具体步骤为：

采集工具的3D模型并缩放至合适的尺寸，并将3D工具模型加载进仿真环境中进行随机切割、组合以及堆放，以获得参考工具场景以及候选零件场景；之后该场景将被加载进渲染模块以获得场景的深度图像并且通过相机变换的方式自动获得参考工具以及零件的边框，连结点和旋转四元数。

2.根据权利要求1所述的基于图神经网络的机器人自主工具构建方法，其特征在于，所述3D工具模型使用Pybullet物理仿真引擎与Blender渲染软件自动进行3D工具模型的分割与组合。

3.根据权利要求1所述的基于图神经网络的机器人自主工具构建方法，其特征在于，所述标注信息包括深度图以及其中适合构建参考工具的零件的边框、旋转四元数。

4.根据权利要求1所述的基于图神经网络的机器人自主工具构建方法，其特征在于，所述参考工具场景包括一个参考工具，候选零件场景包括多个候选零件。

5.根据权利要求1所述的基于图神经网络的机器人自主工具构建方法，其特征在于，所述深度传感器型号为Kinect深度传感器。

6.根据权利要求1所述的基于图神经网络的机器人自主工具构建方法，其特征在于，建立不同候选零件对间的特征连接具体步骤为：

以参考工具场景的深度图以及候选零件场景的特征图作为输入并通过卷积网络CNN进行图片特征的提取以及工具，零件边框的检测；遍历场景中所有检测到的零件对，并将池化后参考工具，对应零件之间的特征拼接到一起，再使用门控图神经网络连结所有零件对的特征，并对每个零件对是否适用于组成参考工具进行判断，对构成参考工具时的零件连结点以及旋转四元数进行回归。

7.一种基于图神经网络的机器人自主工具构建系统，其特征在于，包括：

数据集生成模块，用于在仿真环境中自动生成机器人的训练数据，并获得了大量工具场景和零件场景的标注信息生成数据集；在仿真环境中生成机器人的训练数据具体步骤为：

采集工具的3D模型并缩放至合适的尺寸，并将3D工具模型加载进仿真环境中进行随机切割、组合以及堆放，以获得参考工具场景以及候选零件场景；之后该场景将被加载进渲染模块以获得场景的深度图像并且通过相机变换的方式自动获得参考工具以及零件的边框，连结点和旋转四元数；

深度图采集模块，用于在部署于真实机器人进行自动工具构建时，使用深度传感器进行参考工具场景以及候选零件场景的深度图的采集；

零件选择以及构建姿态检测模块，用于通过深度神经网络与门控图神经网络的结合，建立不同候选零件对间的特征连接，完成候选零件的选择以及构建姿态检测；

机器人自主工具构建模块，用于使用检测最小外接矩形的方式检测抓取部位，并最终操纵实体机器人根据之前检测到的信息完成工具的组装。

8.一种基于图神经网络的机器人自主工具构建设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述基于图神经网络的机器人自主工具构建程序，所述基于图神经网络的机器人自主工具构建程序被所述处理器执行时实现如权利要求1至6中任一项所述的基于图神经网络的机器人自主工具构建方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于图神经网络的机器人自主工具构建程序，所述基于图神经网络的机器人自主工具构建程序被处理器执行时实现如权利要求1至6中任一项所述的基于图神经网络的机器人自主工具构建方法的步骤。