[发明专利]基于图神经网络的机器人自主工具构建方法、系统及相关设备

说明书

本发明公开了一种基于图神经网络的机器人自主工具构建方法、系统及相关设备。该方法在仿真环境下生成训练数据，以包含目标工具的深度图以及包含多个候选零件的深度图为输入，先使用深度网络进行候选零件的选择，连接点以及构建姿态的回归。使用图神经网络对各个零件对进行连结，最后综合选出最优的候选零件以用于构建目标工具。本方法使用的仿真环境下的数据生成方法有效减小了数据采集的人工量，扩大了数据集的体量。本发明可以帮助机器人在纯视觉输入的场景中有效完成自动工具构建任务，并且增加了机器人对场景整体性的考虑，对于共融机器人项目的发展有重要意义。

技术领域

本发明属于计算机视觉与共融机器人领域，具体涉及一种基于图神经网络的机器人自主工具构建方法、系统及相关设备。

背景技术

基于图神经网络的机器人自主工具构建方法相较于原有工具构建方法，大大提高了工具构建的灵活性，准确性，适应性。机器人自主工具构建可以解释为给定一个参考工具，机器人会从一些候选零件中自动选择最合适的零件去构建该工具。现有的大部分工具构建方法都是先将参考工具分割为功能部分与抓取部分，再将候选零件与分割出的部分进行匹配，选择最为类似的零件，最后拼接该零件。该方法使得工具的拼接只能以功能部分与抓取部分的模式进行，而实际上，零件可以以多种模式组成参考工具，因此原有方法极大程度地限制了工具构建的灵活性与可行性。

发明内容

本发明的目的在于克服原有技术灵活性低，适应性差，缺乏对场景宏观理解的缺点，提供一种基于图神经网络的机器人自主工具构建方法、系统及相关设备，该方法能够更好地理解自主工具构建场景，更加灵活，全面，高效，精准地完成该任务。

为了达到上述目的，本发明采用以下技术手段：

一种基于图神经网络的机器人自主工具构建方法，包括：

在仿真环境中自动生成机器人的训练数据，并获得了大量工具场景和零件场景的标注信息生成数据集；

在部署于真实机器人进行自动工具构建时，使用深度传感器进行参考工具场景以及候选零件场景的深度图的采集；

通过深度神经网络与门控图神经网络的结合，建立不同候选零件对间的特征连接，完成候选零件的选择以及构建姿态检测；

使用检测最小外接矩形的方式检测抓取部位，并最终操纵实体机器人根据之前检测到的信息完成工具的组装。

作为本发明的进一步改进，在仿真环境中生成机器人的训练数据具体步骤为：

采集工具的3D模型并缩放至合适的尺寸，并将3D工具模型加载进仿真环境中进行随机切割、组合以及堆放，以获得参考工具场景以及候选零件场景；之后该场景将被加载进渲染模块以获得场景的深度图像并且通过相机变换的方式自动获得参考工具以及零件的边框，连结点和旋转四元数。

作为本发明的进一步改进，所述3D工具模型使用Pybullet物理仿真引擎与Blender渲染软件自动进行3D工具模型的分割与组合。

作为本发明的进一步改进，所述标注信息包括深度图以及其中适合构建参考工具的零件的边框、旋转四元数。

作为本发明的进一步改进，所述参考工具场景包括一个参考工具，候选零件场景包括多个候选零件。

作为本发明的进一步改进，所述深度传感器型号为Kinect深度传感器。

作为本发明的进一步改进，建立不同候选零件对间的特征连接具体步骤为：

以参考工具场景的深度图以及候选零件场景的特征图作为输入并通过卷积网络CNN进行图片特征的提取以及工具，零件边框的检测；遍历场景中所有检测到的零件对，并将池化后参考工具，对应零件之间的特征拼接到一起，再使用门控图神经网络连结所有零件对的特征，并对每个零件对是否适用于组成参考工具进行判断，对构成参考工具时的零件连结点以及旋转四元数进行回归。