[发明专利]一种基于TLD的视频目标跟踪方法

权利要求书

1.一种基于TLD的视频目标跟踪方法，其特征在于包括如下步骤：

（1）在跟踪目标的起始帧，根据给出的所跟踪目标的位置和大小信息，生成图像子窗口，对检测器进行训练；

（2）跟踪器根据目标在上一帧中的位置和大小信息，估计出目标在当前帧中所在的区域；

（3）用检测器对当前帧进行检测，找出当前帧中所有可能的目标；

（4）对跟踪器和检测器的结果进行融合处理，判断出当前帧是否存在目标，如果不存在目标，则返回步骤（3）开始对下一帧的处理；如果存在目标，则给出目标位置以及判断当前帧的跟踪轨迹是否有效，如果无效，则返回步骤（2），对下一帧进行处理；如果有效，则进入学习模块，通过P-N Learning完成检测器的在线更新，然后回到步骤（2），开始对下一帧进行处理。

2.如权利要求1所述的一种基于TLD的视频目标跟踪方法，其特征在于：所述步骤（2）的具体内容是：

（21）目标在上一帧的目标边界框由其位置和大小信息获得，由Cell FoT在该边界框中选择好的特征点，并通过光流法完成相邻两帧间特征点的跟踪；

（22）通过∑删除部分经过一次光流法后跟踪失败的局部跟踪器，所述∑包括Nh、Mp和NCC；

（23）对经由∑删除后最终剩余的局部跟踪器，计算每个局部跟踪器对应的位移以及其距离在相邻帧间的比例变化值，以位移以及距离比例的中位值分别作为所跟踪目标边界框在相邻帧间的位移变化和大小变化，从而估计得到在当前帧上的目标区域。

3.如权利要求2所述的一种基于TLD的视频目标跟踪方法，其特征在于：所述步骤（22）的详细内容是：首先，当前帧的所有局部跟踪器通过NCC进行删选；然后，满足NCC后的局部跟踪器加入到Nh进行删选；最后，剩余的局部跟踪器加入到Mp进行最后的删选，最终得到的局部跟踪器用来更新目标边界框。

4.如权利要求1所述的一种基于TLD的视频目标跟踪方法，其特征在于：所述步骤（3）的具体内容是：

（31）使用卡尔曼滤波器和Mp对TLD检测区域进行预测，完成目标在当前帧中大致区域的预测；卡尔曼滤波器根据之前帧中目标的位置，以目标的中心点位置为状态量，预测出当前帧中目标的中心点，以该点为中心划定一个矩形区域，且该矩形区域的大小为上一帧目标面积的4倍，该矩形即为卡尔曼滤波器最终预测得到的目标区域；Mp根据之前帧中目标运动的方向预测目标在当前帧的运动方向，根据上一帧目标所在位置，可以在当前帧中划定一个区域，目标假定应该出现在该区域中，该区域即为Mp预测得到的区域；

（32）对当前帧中所有的图像子窗口，找出其中与经由Kalman预测得到的目标区域有交集的子窗口；再在其中找出包含于经由Mp预测得到的图像区域中的子窗口，这些子窗口即为符合卡尔曼滤波器和Mp共同预测结果的子窗口；

（33）对前述符合预测结果的图像子窗口，加入到检测器中以判读子窗口中的图像是否为目标。

5.如权利要求1所述的一种基于TLD的视频目标跟踪方法，其特征在于：所述步骤（4）中，判断当前帧是否存在目标及目标位置的判据如下：若跟踪器和检测器都没有跟踪得到或者检测得到目标信息，则认为当前帧中不含有目标；若跟踪器和检测器的结果中都包含目标位置信息，且检测器认为其检测到的区域被认为非常可能是目标，则以检测器得到的目标区域为当前帧上的最终目标位置，否则，当前帧上最终的目标位置为跟踪器和检测器目标位置信息的均值；若跟踪器有目标位置信息，而检测器没有得到目标位置信息，则以跟踪器得到的目标区域作为当前帧中最终目标的位置；若跟踪器无目标位置信息，而检测器包含目标位置信息，则以检测器检测得到的区域作为当前帧上最终的目标位置。

6.如权利要求1所述的一种基于TLD的视频目标跟踪方法，其特征在于：所述步骤（4）中，判断当前帧的跟踪轨迹是否有效的判据如下：若判读当前帧中存在目标，则给出当前帧的跟踪轨道是否有效的置信值，该值通过计算当前跟踪所得目标与已加入到在线模型中图像区域之间的相似程度得到，当相似程度超过阈值则判定当前所得的跟踪轨道是有效的。

7.如权利要求1所述的一种基于TLD的视频目标跟踪方法，其特征在于：所述步骤（4）中，检测器的在线更新的过程是：在P-N Learning中，定义P结构约束和N结构约束，P结构约束用来表征被分类器分类为negative但是结构约束却要求其类别应该为positive的样本，要求所有靠近有效跟踪轨道的图像区域其类别标签应该为positive；N结构约束表征被分类器分类为positive但是结构约束却要求其类别为negative的样本，要求所有包围有效跟踪轨道的图像区域其类别标签为negative；P-N Learning通过P结构约束和N结构约束生成有效的训练样本，形成新的已标签训练样本集，把该样本集加入到检测器中，更新检测器中的集成分类器，同时更新在线目标模型和最近邻域分类器。