[发明专利]三维模型追踪中外点滤除方法和装置

说明书

本发明提供一种三维模型追踪中外点滤除方法和装置，其中方法包括：在当前帧图像中提取轮廓或者提取特征点；获取基于轮廓采样点或基于特征点的颜色模型；读入下一帧图像，根据运动模型预测轮廓或者特征点在下一帧中的初始位置；根据初始位置在下一帧中优化轮廓或者搜索对应的特征点；以颜色模型为基础，计算轮廓采样点或特征点颜色概率分布的能量值，并根据计算的能量值滤除外点；求解下一帧姿态，并将下一帧替换为当前帧。本发明能够解决三维模型跟踪在实际场景中的高光，复杂环境及遮挡等问题，从而提高三维追踪的成功率和鲁棒性。

技术领域

本发明实施方式涉及计算机视觉领域，尤其涉及一种三维模型追踪中外点滤除方法和装置。

背景技术

跟踪技术早期主要应用于平面跟踪，具体来说是在一定量的视频序列中，针对特定的目标(比如车辆、人、广告牌等)进行追踪，在视频序列中标记出目标在视频中的位置。目标跟踪在计算机视觉领域有着广泛的应用：比如视频监控，车流量监控，无人驾驶，人脸识别，增强现实(augmented reality，AR)等。例如在人脸识别中，需要实时在视频序列中抓取人脸所在的位置，才能提取人脸相关的特征进行识别；在AR领域中，需要实时在视频序列中抓取出标记的位置进行渲染等。

上述的跟踪一般针对的是图像中特定的一块像素区域或者平面物体。随着计算机算力的提升以及市场的需求，跟踪技术逐步向三维物体过度。在三维物体的跟踪中，除了需要实时标明三维物体在视频画面中的位置，还需要计算出三维物体的大小，朝向等详细的姿态信息。特别是在AR领域中，如果姿态信息不够准确，那么渲染出的虚拟物体将会很大程度上影响用户体验。

现有技术1的美国专利申请US20140369557公开了一种用于基于特征的跟踪的系统和方法，其中，追踪方式采取的是NCC预测+平面IC迭代+特征跟踪(feature tracking)。存在模板的情况下，首先利用NCC进行粗搜索确定目标所在的大致区域，随后从图像中的平面区域提取出单应(homography)并利用逆组合(Inverse Compositional)的方式进行迭代，进一步得到较为精确的位置，最后在此基础上，利用feature tracking，特征点匹配的方式确定最终精确的位置。在该专利定义的系统中，包含了一系列计算异常时位置的输出，比如feature tracking失败的时候，输出Inverse Compositional迭代的位置等。

现有技术2的中国专利申请CN 106845435公开了一种基于实物检测追踪算法的扩增实境技术实现方法，主要采取的是预先设置三维实物模板及姿态，进行追踪。在具体的跟踪过程中，给跟踪区域划分了一个区域框，并在区域内提取特征点。如果特征点数量满足阈值需求，则进行特征点的跟踪。其主要方式是在当前帧提取ORB特征点时，在下一帧寻找搜索对应的特征点，从而估算出下一帧的三维模型的位姿。若特征点数量不够，则提取区域内的边缘，利用边缘轮廓优化估算三维模型的姿态(pose)。

但是，在实施本发明的过程中，发明人发现现有技术至少存在如下问题：

针对现有技术1，采取平面迭代的方式，必须在追踪序列中，存在特征点丰富的平面区域才可以，否则会引起失败。另外，三维物体的跟踪往往不符合平面的数学假设，在求解过程中也容易出现问题。

针对现有技术2，在采取特征点的方案中，由于三维物体在视角发生变换时，原本可见的角点或者面可能变为不可见，容易引起追踪失败。当物体纹理较少切换到基于边缘追踪时，由于各种光照或者复杂背景等问题，边缘很有可能收敛到局部最优，求解出错误的位姿，引起后续的跟踪失败。

此外，在三维模型的跟踪中，由于部分三维模型缺乏纹理，且存在高光反光等，难以生成固定的模板进行特征点的跟踪，往往是通过区域跟踪或者边缘跟踪来实时计算目标的姿态，方便进行后续的处理。但是由于目标模型本身和环境光照等本质性缺陷容易引入外点；在实际应用中广泛存在遮挡，传统的算法也较容易引入外点。上述现象都容易导致算法求解处有偏差的姿态或者引起丢失。