[发明专利]一种基于深度学习的目标姿态估计方法

摘要

本发明涉及一种基于深度学习的目标姿态估计方法。实际工业环境中需要利用机械手臂对于目标物体进行抓取，需要首先获得目标物体的空间位置信息和姿态信息。摄像机系统价格便宜，所以利用视觉信息来进行目标物体的姿态估计的方法应用最广泛。利用传统的视觉算法来进行姿态估计难以提取出有效的特征，精度比较有限。本发明方法利用了神经网络的优势，利用神经网络算法将目标物体重要区域提取出来之后对物体表面进行建模的方法来估计物体姿态。本方法适应性强，对于不同种类的物体，只需收集数据集对神经网络进行重新训练，无需重新设计特征提取器。而且本方法确定姿态准确，利用神经网络强大的特征提取能力，能够估计分析大部分场景中的物体。

主权项

1.一种基于深度学习的目标姿态估计方法，其特征在于该方法的具体步骤是：步骤(1)利用RGB‑D相机获取彩色图像和深度图像使用RGB‑D相机对于包含目标物体的场景进行拍摄，得到一张彩色图像和与彩色图像像素一一对应的深度图像；步骤(2)使用语义分割网络提取图像中感兴趣像素区域利用语义分割神经网络，将输入图像经过卷积池化提取特征之后，再进行上采样与浅层特征图信息进行融合，最后得到一张与输入图像分辨率一致的分割结果特征图，对于输入图片做一个像素级别的分类，确定在目标物体表面感兴趣的像素区域；在提取出输入图像中感兴趣的目标物体区域之后，就可以针对于该部分的物体表面确定目标物体的姿态；经过语义分割网络之后，将提取得到的图像信息结合深度信息求得目标物体的姿态；步骤(3)对物体表面建模并确定物体姿态利用语义分割网络检测得到的物体表面平面区域和对应融合深度图像上的深度信息，对物体表面平面建立平面模型：Ax+By+Cz+D＝0利用主成分分析算法求得平面方程的参数，计算方式如下：①利用公式∑＝E(aa^T)‑E(a)E(a^T)，求得在物体平面上所有点的协方差矩阵，为其中a为样本数据，E为就平均操作；②求取协方差矩阵的特征值和特征向量，选取最小特征值对应的特征向量，以此作为物体表面平面的法向量，得到平面方程参数A，B，C；③求取所有表面坐标点的平均坐标，带入平面方程中，求解得到方程参数D；通过主成分分析算法，得到物体表面的平面方程，估计得到目标物体的姿态；要利用随机样本一致算法结合主成分分析算法滤除数据中的噪声点后求得平面模型；该过程的步骤如下：①随机选取能确定方程参量的四个样本数据，利用数据点求得平面方程的参数，得到平面模型；②利用求得的平面模型，计算所有数据点的误差；当误差小于给定阈值时，认为是内点，否则为外点；③统计内点的个数，若内点个数大于设定数量，利用主成分分析算法在所有内点上求得当前模型；④利用内点集求得的模型计算所有内点的平均误差，若当前误差小于储存的最优模型的误差时，更新最优模型，并且更新最优模型的误差；⑤不断重复以上的步骤，直到满足最大的迭代次数，得到最终的平面模型；在求得物体表面的法向量之后，计算得到物体表面所有空间点的均值作为物体表面的中心点；利用平面中心点和平面法向量就确定了目标物体的姿态信息。