[发明专利]一种基于深度学习的单目相机物体位姿估计方法及装置

说明书

本发明公开了一种基于深度学习的单目相机物体位姿估计方法，方法包括：1)、根据所获取的物体的三维图像在二维空间内的投影以及投影对应的物体坐标以及物体的标签文件生成训练集和验证集；2)、利用级联卷积神经网络模型学习训练集，并迭代超参数；3)、使用测试集测试训练后的级联卷积神经网络模型，在训练后的级联卷积神经网络模型的准确率不小于第一预设阈值时，使用所述训练后的级联卷积神经网络模型进行物体位姿估计。本发明公开了一种基于深度学习的单目相机物体位姿估计装置。应用本发明实施例，可以物体位姿估计的应用成本。

技术领域

本发明涉及一种位姿估计方法及装置，更具体涉及一种基于深度学习的单目相机物体位姿估计方法及装置。

背景技术

位姿估计是计算机视觉领域一个非常重要的分支，在使用传感器估计物体位姿后用于控制机械手的运动轨迹、以及物体抓取研究发挥着极大作用(在基于传感器估计物体位姿后用于规划机械末端的运动轨迹、以及智能物体抓取等研究领域发挥着极大作用)。位姿估计算法是寻求现实世界和图像投影得到的图像之间物理关系，然后对物体的世界坐标以及三维方向进行精准估计，已经成为图像处理领域许多应用的必需预处理操作，位姿估计精准度直接影响后续操作成功与否，其重要性在机器人分拣领域、工业生产自动化领域和动作捕获跟踪领域尤为突出。

位姿估计的信息捕捉需要依靠硬件传感器，在视觉领域，位姿估计信息获取方式为摄像机，通常使用多目视觉位姿估计和3D视觉位姿估计。受到硬件发展水平限制，现有多目和3D相机价格都比较贵，尤其后者，价格在数十万元以上，导致目前的技术存在物体位姿估计的应用成本较高的问题。

发明内容

本发明所要解决的技术问题在于提供了一种基于深度学习的单目相机物体位姿估计方法及装置，以解决物体位姿估计的应用成本较高的技术问题。

本发明通过以下技术方案解决上述技术问题：

本发明实施例提供了一种基于深度学习的单目相机物体位姿估计方法，所述方法包括：

1)、根据所获取的物体处于不同姿态时的三维模型在二维空间内的投影，以及所述投影对应的物体坐标以及物体的标签文件生成训练集和验证集，其中，所述标签文件包括：物体的个数、物体的类别、物体边界框、物体位姿关键点中的一种或组合；

2)、利用级联卷积神经网络模型学习训练集，并迭代超参数；

3)、使用测试集测试训练后的级联卷积神经网络模型，在训练后的级联卷积神经网络模型的准确率不小于第一预设阈值时，使用所述训练后的级联卷积神经网络模型进行物体位姿估计。

可选的，在步骤1)之前，所述方法还包括：

使用ImageNet库对级联卷积神经网络模型进行预训练。

可选的，所述步骤1)，包括：

使用投影矩阵将物体处于不同姿态时的三维模型转换为二维图像，其中，所述三维模型包括：含有单个物体的三维模型和含有两个或者两个以上的三维模型；

将所述二维图像转换到HSV色彩空间并剪裁掉黑色背景；

再将转换到HSV色彩空间的二维图像转换到RGB色彩空间；

将转换到RGB色彩空间的二维图像裁剪成设定尺寸；

获取每一个二维图像对应的标签文件，并将所述标签文件对应到裁剪后的二维图像，并将对应标签文件后的二维图像的集合划分为训练集和验证集，其中，所述标签文件包括：物体的个数、物体的类别、物体边界框、物体位姿关键点中的一种或组合。

可选的，所述步骤2)，包括：

A：使用SSD模型提取出训练集图像的特征，将提取的特征、物体坐标以及物体的标签文件输入当前级联卷积神经网络进行训练，得到预测的物体种类、物体边界框和物体三维位姿点；