[发明专利]一种基于RGB-D数据的视频跟踪方法

说明书

本发明公开一种基于RGB‑D数据的视频跟踪方法，包括：获取目标数据并建立实时更新的自适应深度信息模板；使用基于深度信息模板的融合RGB‑D信息的改良上下文模型的跟踪算法，计算当前帧的目标位置；使用基于深度信息模板的尺度更新算法，计算当前帧的目标对象尺度；启用基于深度时域变化估算的遮挡检测及处理机制，判断上一步跟踪结果的正确性，并根据判断结果进行处理。采用本发明的技术方案,提升了跟踪算法在存在遮挡，复杂背景等挑战因素下的跟踪鲁棒性和精度。

技术领域

本发明属于计算机视觉和视频跟踪领域，尤其涉及一种基于RGB-D数据的视频跟踪方法。

背景技术

目标跟踪是估计目标对象在一系列视频图像序列中的状态，在许多机器视觉相关的应用领域，诸如运动分析，活动识别等，都扮演着非常重要的角色。众多相关研究人员针对不同场景下的不同的视频跟踪需求，提出了多种基于视频的目标对象跟踪方法。然而在实际应用环境中，存在许多使目标跟踪问题的处理，变得异常困难的不可控因素，譬如遮挡，表观模型形变，光照变化不均匀等等。所以，开发出一个健壮，通用，鲁棒的视频跟踪算法，已经成为机器视觉领域中的一个难题。

现今跟踪算法数量众多，性能各异，但大体上主要分为生成式与判别式两大类。生成式算法是在目标周围寻找与目标特征最匹配的算法。比如传统的mean-shift算法，基于直方图统计的方法，等等。判别式算法则是将跟踪过程看成典型的二分类问题，通过局部搜索，判断待搜索对象是目标块还是背景块，从而进行目标区分。比如基于Boots-trapping分类器的跟踪算法^[]，基于多例学习的跟踪算法^[]等等。近年来，一些结合了二者的优点，融合这两类方法思想的方法被提出，跟踪算法研究也取得了进一步的发展。

其中，具有代表性的典型算法是2013年K.Zhang等提出的基于目标上下文灰度特征的快速时空上下文学习跟踪方法，简称STC方法^[]。该方法利用目标对象及其邻域组成的上下文信息的灰度特征，在预定义范围内进行特征相似性搜索匹配实现目标和背景分离。其中，预定义搜索范围，可基于自适应学习进行尺度自适应更新。该方法具有鲁棒性高，速度快的优势，并且在自适应处理局部遮挡方面表现出较为不错的效果；然而在存在复杂背景杂波，连续遮挡及交叉遮挡等情况下，表现效果不佳。

2014年，基于STC的跟踪算法，徐等提出了WSTC(weighted spatio-temoporalcontextlearninging)，即权重时空上下文学习算法。该算法通过计算前后帧的光流信息，对上下文信息进行分级，提升了STC算法中基于上下文的前景和背景的分离效果，在一定程度上解决了目标跟踪受背景杂波干扰的问题。然而，仅仅基于彩色上下文特征信息，难以解决因完全遮挡，交叉遮挡等严重遮挡导致的目标丢失问题，且当出现与目标彩色特征极其相似的背景时，该方法表现也不尽如人意。

近几年，随着深度传感器如微软的kinect^[]设备的出现，深度信息开始逐渐被引入计算机视觉领域。但由于基于kinect相关设备的跟踪算法还处于起步阶段，多数算法的研究目标单一不具有普适性，且深度数据的采集精度方面尚不完全，因而相关的较为成熟且具有普适性的跟踪算法还较为少见，而融合RGB-D数据的跟踪算法就更为稀少。2015年Zhaoyun Chen等人^[]在二维上下文特征信息的基础上引入深度信息，提出了三维空间上下文信息模型，实现了三维空间的快速上下文学习跟踪算法(CD)。该算法通过建立三维空间的上下文信息，进一步增强了上下文算法中，上下文信息区分目标和背景的能力。事实上，基于深度信息辅助的目标跟踪研究方兴未艾，更多的具有普遍意义的应用深度信息的跟踪算法尚有待提出。

发明内容