[发明专利]一种基于置信度和特征融合的无纹理三维物体跟踪方法

说明书

本发明涉及一种基于置信度和特征融合的无纹理三维物体跟踪方法,该跟踪方法的过程包括：(1)建立颜色模型；(2)使用集束结构将像素点分为轮廓点和区域点；(3)根据轮廓点的置信度与与区域点的置信度，确定边缘项的权重α_i、颜色项的权重β_i、以及集束权重ω_i；(4)根据所有集束对应总的能量方程，求最优位姿用对物体的三维模型进行渲染，得到当前帧图像上的物体区域；(5)以此类推，直到跟踪结束。本发明使用集束结构，将轮廓点与区域点重统一到一个能量函数中，解决采样点不统一的问题；对边缘点与区域点分别计算置信度，将其自动归一化，并依据置信度计算各个能量项的权重，解决不同特征误差度量不统一的问题。

技术领域

本发明涉及一种基于置信度和特征融合的无纹理三维物体跟踪方法，属于计算机视觉领域。

背景技术

三维物体跟踪能够连续获得三维物体与相机之间的空间位置关系，是计算机视觉中的一项重要任务。目前三维跟踪已经有着广泛的应用场景，例如工业制造、医学诊断、娱乐游戏、机器人等领域。三维物体跟踪根据使用的视频数据类型不同，可以大致分为两类：基于RGB-D视频数据的三维跟踪和基于RGB视频数据的三维跟踪[Lepetit V,FuaP.Monocular model-based 3d tracking of rigid objects:A survey.Foundations andin Computer Graphics and Vision,2005,1(1):1-89.]。

基于RGB-D数据跟踪的方法通过深度相机能获得场景中的三维信息，故基于RGB-D视频数据的三维跟踪方法能显著提高算法的稳定性。但该类方法需要配备深度相机，并受限于深度相机的使用条件，往往在室外场景以及物体较远时方法失效。

基于RGB视频数据的跟踪根据物体纹理性质可以分为有纹理和无纹理物体跟踪。有纹理物体跟踪容易在图像上检测特征点，如稳定的SIFT(Scale-invariant featuretransform，尺度不变特征变换)和ORB(Oriented FAST and Rotated BRIEF，一种快速特征点提取和描述的算法)特征点，并根据特征点间的对应关系获得较为鲁棒稳定的位姿参数。当物体没有纹理或纹理较弱时，不足以提取稳定特征点，会使该类方法失效。

目前，无纹理或弱纹理物体的跟踪则仍然面临诸多挑战，其面对的主要问题是无法找到特征点之间准确的对应关系。目前主要的方法分为基于边缘的方法和基于区域的方法；基于边缘的方法通常使用边缘特征匹配找到三维模型投影轮廓与输入图像边缘的对应关系，通过最小化二者之间误差迭代计算出物体的最优位姿[B.Seo,H.Park,J.Park,S.Hinterstoisser,S.Llic:Optimal local searching for fast and robust texture-less3d object tracking in highly cluttered backgrounds.IEEE Transactions onVisualization and Computer Graphics,20(1):99-110,2014],[Guofeng Wang,BinWang,Fan Zhong,Xueying Qin,Baoquan Chen:Global optimal searching fortextureless 3D object tracking.The Visual Computer 31(6-8):979-988(2015)],[Wang B,Zhong F,Qin X.Robust edge-based 3D object tracking with direction-based pose validation.Multimedia Tools and Applications,2019,78(9):12307-12331]。该类方法所涉及的采样点较少，因此具有显著的速度优势；基于边缘依赖于图像边缘线提取效果，当背景复杂或运动模糊时，边缘特征不易提取，算法容易跟踪失败。