[发明专利]一种基于深度学习的装配体零件相对位姿估计监测方法

权利要求书

1.一种基于深度学习的装配体零件相对位姿估计监测方法，其特征在于，包括以下步骤：

建立装配体零件数据集，通过摄像机拍摄目标装配体不同角度的图像，并通过采集的图像生成装配体中不同零件对应的点云数据集，建立样本数据集；

选择3D关键点，通过深度学习网络对所述样本数据集进行特征提取，获取装配体中每个零件的表面信息和几何信息，对各零件的表面信息和几何信息进行特征融合，得到各零件的逐点特征；对各零件的逐点特征进行3D关键点检测，获取装配体中各零件的3D关键点集；

分割零件，根据采集的图像进行语义分割，识别并分割出图像中装配体的不同零件；

预测零件位姿，根据分割出的图像中各零件的3D关键点集和点云数据集，利用最小二乘拟合算法得出各零件在相机坐标系下的位姿预测值，所述位姿包括零件在相机坐标系下的旋转矩阵和偏移矩阵；

设定参考系，选取一零件作为参考系零件，以参考系零件的几何中心为原点建立世界坐标系，通过世界坐标系与相机坐标系之间的转换关系计算参考系零件在相机坐标系下的位姿真实值；

相对位姿估计，根据所述参考系零件在相机坐标系下的位姿真实值以及装配体中除了参考系零件以外的其他零件在相机坐标系下的预测值，分别计算各其他零件与参考系零件的相对位姿关系，所述相对位姿关系包括空间几何距离、相对旋转矩阵和相对角度；

所述对各零件的逐点特征进行3D关键点检测，获取装配体中各零件的3D关键点集的步骤具体如下：

输入各零件的逐点特征，利用最远点采样算法初始化装配体的三维模型中每个零件的若干个初始关键点，估计可见点到各初始关键点的偏移量；

通过偏移量对各初始关键点进行投票得到各零件的聚类点集，使用聚类算法消除各聚类点集中的离群点干扰，最后选择各聚类点集的几何中心作为各零件的3D关键点；

遍历所有图像重复更新各零件的初始关键点，重复上述步骤得到各零件的若干个3D关键点，集合成各零件的3D关键点集。

2.根据权利要求1所述的一种基于深度学习的装配体零件相对位姿估计监测方法，其特征在于：所述图像包括深度图和彩色图，通过所述深度图和彩色图进行场景注册，得到包含装配体的点云数据；对所述包含装配体的点云数据进行点云剪裁，去除场景中的背景信息和杂乱信息，生成装配体的三维模型，所述装配体的三维模型由装配体中不同零件对应的点云数据集组成。

3.根据权利要求2所述的一种基于深度学习的装配体零件相对位姿估计监测方法，其特征在于，所述根据采集的图像进行语义分割，识别并分割出图像中装配体的不同零件的步骤具体为：

获取语义标签，提取图像中每个零件的全局特征和局部特征，根据各零件的全局特征和局部特征逐点预测对应零件的语义标签，得到不同零件的轮廓；

获取不同零件的中心点，对每个零件的语义标签进行中心点投票，投票获取语义标签的中心点，并将每个零件的语义标签中心点作为每个零件的二维中心点；将各零件的二维中心点映射到装配体的三维模型中对应零件的三维中心点；

根据各零件的语义标签以及语义标签中心点对图像进行实例分割，区分图像中的不同零件。

4.根据权利要求3所述的一种基于深度学习的装配体零件相对位姿估计监测方法，其特征在于，所述利用最小二乘拟合算法得出各零件在相机坐标系下的位姿预测值的具体步骤为：

根据各零件的3D关键点集和点云数据集，利用最小二乘拟合算法得出各零件在相机坐标系下的位姿初始值；

利用迭代优化算法对各零件在相机坐标系下的位姿初始值进行迭代细化，直至获取满足精度要求的位姿预测值。