[发明专利]一种基于深度学习的机器人多物体分拣方法

权利要求书

1.一种基于深度学习的机器人多物体分拣方法，其特征在于，所述分拣方法具体步骤如下：

步骤S10，利用旋转目标检测网络来获取场景中目标物体的包括类别、位置和旋转角度信息；

步骤S20，通过实例分割网络分割出目标物体表面像素；

步骤S30，利用相机标定将物体表面像素转化为点云，并运用主成分分析法对物体表面进行法向量估计；

步骤S40，结合物体的旋转角度与法向量，采用欧拉角法估计目标物体的抓取姿态；

步骤S50，利用基于先验知识的物体分拣次序推理算法获得目标物体的分拣次序；

步骤S60，将物体的位姿信息与分拣次序由视觉处理端传输给机器人控制端，指导机器人自主完成多物体的分拣任务；

所述步骤S10的具体过程如下：

步骤 S101，将Kinect相机安装在工作平台的一侧，采集多个目标物体在不同位置、姿态和堆叠情况下的图像；

步骤 S102，对采集的图像按照设定的概率进行随机数据增强；

步骤S103，对数据增强后形成的数据集进行标注，并利用标注后的数据集完成旋转目标检测网络的训练；

步骤 S104，使用训练好的旋转目标检测网络对相机采集的图像进行实时检测，获得场景中目标物体类别和旋转边框；

步骤S105，利用张正友标定法对Kinect相机进行标定，获得相机的内外参矩阵；

步骤S106，通过相机的内外参矩阵将目标物体边框的坐标转换为世界坐标系下物体的位置和旋转角度信息；

所述步骤S30的具体过程如下：

步骤S301，通过相机标定获得的内、外参矩阵，将分割出的物体表面像素坐标转换成世界坐标系下的点云；

步骤S302，采用降采样与离群点去除方法对点云进行预处理；

步骤S303，对物体表面点云进行主成分分析，获得表面法向量；

所述步骤S40的具体过程如下：

步骤S401，计算物体表面法向量与世界坐标系Z轴正方向的夹角；

步骤S402，结合目标物体的旋转角度及其法向量与世界坐标系Z轴正方向的夹角，利用欧拉角法估计出物体的姿态。

2.请根据权利要求1所述的一种基于深度学习的机器人多物体分拣方法，其特征在于，所述步骤S20的具体过程如下：

步骤 S201，对数据集进行掩膜的标注，利用新标注后的数据集对实例分割网络进行训练；

步骤S202，使用训练好的实例分割网络对场景图像进行实时处理，将目标物体的像素从图像中分割出来。

3.根据权利要求1所述的一种基于深度学习的机器人多物体分拣方法，其特征在于，所述步骤S50的具体过程如下：

步骤S501，通过实验的方式，获得在不发生堆叠情况下，物体表面点云在Z轴方向上方差的阈值；

步骤S502，以获得的点云方差的阈值作为先验知识，对场景中物体的分拣顺序进行推理。

4.根据权利要求1所述的一种基于深度学习的机器人多物体分拣方法，其特征在于，所述步骤S60的具体过程如下：

步骤S601，通过TCP/IP通讯的方式，将视觉处理端获取的物体位姿和分拣顺序传输给机器人控制端；

步骤S602，机器人控制端接收并处理获得的信息后，根据分拣次序，指导机器人自主完成多物体分拣任务。