[发明专利]结合小样本实例分割和三维匹配的物体位姿估计方法

说明书

本发明属于计算机视觉和机器人技术领域，特别涉及一种结合小样本实例分割和三维匹配的物体位姿估计方法，旨在为了解决现有六自由度物体位姿估计方法对背景杂乱、前景物体遮挡鲁棒性弱，需要训练样本数量大的问题，本发明基于有限样本扩容变换得到的大量训练样本，训练得到实例分割模型，使用训练好的实例分割模型对包含待测目标物体场景的彩色图像进行实例分割，依据实例分割结果获取目标物体的深度图像点云和目标物体三维模型，通过预设的三维匹配方法将目标物体图像点云和目标物体三维模型进行匹配，并确定出目标物体的六自由度位姿。本发明能够在训练样本有限、背景杂乱、前景物体遮挡条件下，有效进行六自由度物体位姿估计，鲁棒性好。

技术领域

本发明属于计算机视觉和机器人技术领域，特别涉及一种结合小样本实例分割和三维匹配的物体位姿估计方法。

背景技术

六自由度物体位姿估计是一个重要的机器人视觉任务，广泛应用于机器人抓取操作及增强现实等领域。六自由度物体位姿估计的目标在于，正确识别出输入图像中的目标物体类别并估计出物体在三维空间中的六自由度位姿(包括位置和朝向)。六自由度物体位姿估计的挑战性因素主要包括：前景物体遮挡，背景杂乱，多实例物体及标注训练样本的缺乏。这些因素的存在使该任务相当困难，仍然是一个开放的问题。

研究者们提出许多方法以应对上述挑战性因素。常见的方法有：基于特征的方法、基于模板匹配的方法和基于学习的方法。基于特征的方法可细分为基于局部特征的方法、基于全局特征的方法和介于局部和全局方法之间的折衷方法。基于局部特征的方法无需预分割步骤，对遮挡和背景杂乱较为鲁棒，但计算量大，容易对对称及相似物体失效。基于全局特征的方法依赖全局特征描述子，需要物体的概念，从而需要分割步骤。因此，在分割困难或需要识别遮挡物体时，要避免使用基于全局特征的方法。介于局部和全局方法之间的折衷方法采用传统的局部匹配流程同时使用全局建模。这类方法依赖点对特征并在识别正确率和速度之间取得平衡。从公开的结果看，这类方法在仍然有较大的提升空间。基于模板匹配的方法使用的模板，在不同视角下捕获物体的不同外观。这类方法通过匹配输入图像和模板检测物体，并从匹配的模板中获得物体位姿。基于模板匹配的方法实践中速度较快并较为准确，但存在对杂乱和遮挡鲁棒性弱的问题。基于学习的方法使用有监督的机器学习方法用于物体识别和位姿估计，这类方法需要大量的标注样本，而且公开结果显示，基于学习的方法在对称及相似物体上检测性能较差。

综上分析，研究能有效处理背景杂乱、前景遮挡和标注训练样本缺乏等难点的六自由度物体位姿估计方法，显得尤为重要。

发明内容

为了解决现有技术中的上述问题，即为了解决现有六自由度物体位姿估计方法对背景杂乱、前景物体遮挡鲁棒性弱，需要训练样本数量大的问题，本发明的第一方面，提出了一种结合小样本实例分割和三维匹配的物体位姿估计方法，该方法包括以下步骤：

步骤S100，获取包含待测目标物体场景的彩色图像，获取包含待测目标物体场景的深度图像；

步骤S200，基于所述彩色图像，通过实例分割模型获取实例分割结果，输出包含目标物体成像点信息的数据和目标物体的类别；所述实例分割模型基于小样本训练数据的扩容变换进行深度学习获取，用于对输入的彩色图像进行实例分割；

步骤S300，基于所述包含目标物体成像点信息的数据，建立目标物体彩色图像成像点与深度图像成像点的对应关系，获取所述目标物体的深度图像点云；

步骤S400，基于所述目标物体的类别，从预设的目标物体三维模型库中检索获取目标物体的三维模型；

步骤S500，基于所述目标物体的深度图像点云和所述目标物体的三维模型，通过预设的三维匹配方法将目标物体的深度图像点云与目标物体的三维模型进行匹配，获取目标物体的六自由度位姿；

在一些优选实施方式中，所述彩色图像和所述深度图像通过具有深度测量功能的彩色照相机获取。