[发明专利]一种基于深度学习的目标姿态估计方法

说明书

本发明涉及一种基于深度学习的目标姿态估计方法。实际工业环境中需要利用机械手臂对于目标物体进行抓取，需要首先获得目标物体的空间位置信息和姿态信息。摄像机系统价格便宜，所以利用视觉信息来进行目标物体的姿态估计的方法应用最广泛。利用传统的视觉算法来进行姿态估计难以提取出有效的特征，精度比较有限。本发明方法利用了神经网络的优势，利用神经网络算法将目标物体重要区域提取出来之后对物体表面进行建模的方法来估计物体姿态。本方法适应性强，对于不同种类的物体，只需收集数据集对神经网络进行重新训练，无需重新设计特征提取器。而且本方法确定姿态准确，利用神经网络强大的特征提取能力，能够估计分析大部分场景中的物体。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于深度学习的目标姿态估计方法。

背景技术

利用视觉信息来获取目标物体的姿态信息是计算机视觉的重要任务。在实际的工业环境中，需要利用机械手臂对于目标物体进行抓取，需要获取目标物体的空间三维位置信息和姿态信息。所以姿态估计的准确性对于机械臂抓取物体来说非常重要。目前，姿态估计的方法主要有：1)基于学习的姿态估计；2)基于模型的姿态估计。

基于模型的姿态估计主要是结合物体的特征点信息，或者是物体的几何关系来估计物体的姿态。它是通过物体的几何特征或者几何模型表示物体的结构和形状，然后通过建立图像与模型直接的匹配关系来确定物体在三维空间中的姿态信息。这种方法通常是比较建立起来的模型和输入图片提取出的特征之间的关系，通过特征匹配算法去确定模型的姿态。

基于学习的姿态估计方法，是指利用机器学习或者深度学习，从训练数据集中学习三维位姿姿态与二维观察图的关系，将学习好的分类模型或者是回归模型用到测试数据的检测上，用于获取目标物体的姿态。此类方法一般提取的是整张图片的信息，不只使用物体的一部分特征，所以相对来说，基于学习的姿态估计具有更好的抗干扰能力，鲁棒性更强。

发明内容

本发明利用神经网络强大的模型拟合能力，提出了一种基于深度学习的姿态估计方法。本方法利用神经网络提取出目标物体表面的有效区域，并对其表面建立模型去估计得到物体姿态信息。具体步骤是：

步骤(1)利用RGB-D相机获取彩色图像和深度图像

使用RGB-D相机对于包含目标物体的场景进行拍摄，得到一张彩色图像和与彩色图像像素一一对应的深度图像。

步骤(2)使用语义分割网络提取图像中感兴趣像素区域

利用语义分割神经网络，将输入图像经过卷积池化提取特征之后，再进行上采样与浅层特征图信息进行融合，最后得到一张与输入图像分辨率一致的分割结果特征图，对于输入图片做一个像素级别的分类，确定在目标物体表面感兴趣的像素区域。在提取出输入图像中感兴趣的目标物体区域之后，就可以针对于该部分的物体表面确定目标物体的姿态。

经过语义分割网络之后，将提取得到的图像信息结合深度信息求得目标物体的姿态。

步骤(3)对物体表面建模并确定物体姿态

利用语义分割网络检测得到的物体表面平面区域和对应融合深度图像上的深度信息，对物体表面平面建立平面模型：

Ax+By+Cz+D＝0

利用主成分分析算法求得平面方程的参数，计算方式如下：

①利用公式∑＝E(aa^T)-E(a)E(a^T)，求得在物体平面上所有点的协方差矩阵，为其中a为样本数据，E为就平均操作。

②求取协方差矩阵的特征值和特征向量，选取最小特征值对应的特征向量，以此作为物体表面平面的法向量，得到平面方程参数A，B，C。

③求取所有表面坐标点的平均坐标，带入平面方程中，求解得到方程参数D。