[发明专利]弱纹理物体姿态跟踪方法、系统及装置

说明书

本发明提供一种弱纹理物体姿态跟踪方法、系统及装置，其中方法包括：对输入的当前帧图像进行姿态的预测，得到预测的物体姿态：根据预测的物体姿态获取物体轮廓形状数据；根据物体轮廓形状数据，在当前实景图像上进行轮廓形状特征的查找匹配；根据匹配信息进行姿态解算。本发明利用弱纹理物体的3D模型和目标物体的实景图像，无需依赖大量先验的数据进行训练，因此在普通计算设备上能够实现实时姿态跟踪。

技术领域

本发明实施方式涉及计算机视觉领域，尤其涉及一种弱纹理物体姿态跟踪方法、系统及装置。

背景技术

三维物体姿态追踪是计算机视觉领域一个典型的任务，它通过实时地计算三维物体在场景中的6自由度(R，t)姿态数据，使得外界对场景中的三维物体的位置和朝向有一个清晰认识，在增强现实、工业辅助、机器人等领域有着非常多的应用。三维物体按表面纹理丰富程度可分为富纹理和弱纹理。

富纹理因为具有比较丰富的纹理信息，因此可以利用成熟的计算机视觉算法对其进行视觉特征的提取和描述，然后通过2D图像特征匹配等方法得到与3D模型之间的匹配对，进行姿态估计和跟踪，最后得到物体的6自由度姿态。

弱纹理物体也是非常常见的一类物体，小到生产车间的螺丝、扳手、各种零部件，大到生活中的几乎所有家用电器、汽车、消费电子产品等，可以说弱纹理物体充斥着我们的日常生活和社会生产。对弱纹理物体进行6自由度的姿态跟踪，可以解决很多非常实用的问题，比如日常生活中对家用电器进行虚拟的按钮标注以实现说明书的功能，比如对汽车进行虚拟的装修以实现多维度展示的功能，比如工业上辅助工人进行零部件的装配、辅助机器人进行物件的精确抓取等等。这些增强现实的应用或者工业生产上的应用都需要实时获得弱纹理物体的6自由度姿态信息，这样才能把辅助的数字内容或标签精确地放置在物体的真实位置上，从而让使用者可以在同一个视野中快速获得有用信息，提高生产力和生产效率。但是，弱纹理物体的表面往往颜色单一，没有丰富的纹理，甚至带有高光、镜面反射等特性，非常缺乏甚至没有可靠的视觉特征，使得传统的计算机视觉算法不能够很好的解决对这类物体的6自由度姿态的跟踪问题。

现有技术1的中国专利申请CN107679537A公开了一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法，其使用ORB特征对无纹理物体的多视点投影图像的轮廓进行特征提取，将待检测的目标图像中的ORB特征与之进行特征匹配，从而得到2D-3D的匹配信息。最后结合特征匹配的正确度辅助求解姿态参数。

现有技术2的美国专利US9892543B2公开了一种用于估计无纹理对象的姿态的系统和方法，通过机器学习的方法对弱纹理物体进行姿态的估计。首先将弱纹理物体的3D模型进行投影渲染，该渲染尽可能地穷举不同的视点、不同的光照条件、不同的尺度距离，得到一系列的训练数据集。训练的时候采用树结构将目标物体在图像中的区块进行索引。对于输入的待检测的目标图像，将其与上述数据集进行匹配检索，最后推导出当前图像中目标物体的6自由度姿态。

但是，在实施本发明的过程中，发明人发现现有技术至少存在如下问题：

现有技术1的中国专利申请CN107679537A使用的是传统的计算机视觉算法，其缺点是对于绝大部分无纹理物体的投影图像的轮廓来说，利用ORB特征无法提取出足够的可靠视觉特征。在与待检测图像进行ORB特征匹配过程中，由于现实环境的图像中物体轮廓信息非常容易受噪声、背景、遮挡等干扰，导致特征独特性差，特征匹配外点率极高。因此在真实的环境中进行6自由度的姿态求解时非常容易失败。

现有技术2的美国专利US9892543B2使用了较新的机器学习算法，其缺点是对于每一个弱纹理物体均需要构建数据量非常巨大的训练数据集以尽可能地覆盖常见的各种情形和姿态。该方法的成功率和精度非常依赖训练数据集的规模，因此在实用领域其成本很高，不具有方便的可扩展性，无法快速套用到另一个弱纹理物体上。该方法另一个缺点在于其匹配和姿态推理的过程需要依赖大量计算资源，并且比较耗时，因此不具备在一般计算设备上(如智能手机、AR眼镜等)进行实时的姿态跟踪的能力。