[发明专利]基于TLD跟踪系统的视频目标跟踪方法

摘要

本发明属于目标检测和目标跟踪领域，公开了一种基于TLD跟踪系统的视频目标跟踪方法，包括：在跟踪目标的起始帧，根据给出所需要跟踪目标的位置和大小信息，生成子图像窗口，并对CSK跟踪器和检测器进行初始化；跟踪器根据上一帧跟踪到的目标以及当前帧跟踪到的目标估计出本帧图像中目标的位置；用检测器找到在当前帧中所有可能出现的目标区域；对跟踪器和检测器的结果进行综合，判断出当前帧是否存在目标，如果不存在目标，则对下一帧进行处理；如果存在目标，就判断目标是否有效；如果有效，则进入学习模块，完成检测器和跟踪器的在线更新，并开始对下一帧进行处理；能够解决目标出现遮挡时对目标进行有效检测的问题。

主权项

一种基于TLD跟踪系统的视频目标跟踪方法，其特征在于，所述TLD跟踪系统包含：跟踪滤波器，重合度检测器，随机森林分类器，以及最近邻分类器；所述视频目标跟踪方法包括如下步骤：步骤1，获取视频中的第一帧图像，在所述第一帧图像中人为标定目标区域，在所述第一帧图像中获取以所述目标区域为中心，且大小为所述目标区域N倍的图像片；所述人为标定的目标区域为矩形区域；步骤2，根据所述图像片的大小构造二维高斯分布函数以及汉明窗，进而根据所述图像片、所述二维高斯分布函数以及所述汉明窗，分别对跟踪滤波器的第一参数、第二参数进行初始化；步骤3，以所述目标区域的大小为基准，构造多个不同尺度的矩形框；第一尺度矩形框从所述第一帧图像的左上角开始，每次移动一个像素位置，从左往右，从上往下，依次遍历整个第一帧图像；在所述第一尺度矩形框遍历整个第一帧图像的过程中，记录该第一尺度矩形框的所有位置以及第一尺度矩形框在每个位置时与目标区域的重合度；所述第一尺度矩形框为多个不同尺度的矩形框中的任意一个矩形框；重合度的值大于0且小于1；采用集合grid记录多个不同尺度的矩形框遍历所述第一帧图像过程中的所有位置以及每个尺度矩形框在每个位置时与目标区域的重合度，完成对重合度检测器的初始化；步骤4，设置第一重合度阈值、第二重合度阈值，且第一重合度阈值大于第二重合度阈值；对于集合grid，将其中重合度大于所述第一重合度阈值的矩形框对应的信息记录在集合good‑boxes中，将其中重合度小于所述第二重合度阈值的矩形框对应的信息记录在集合bad‑boxes中，将其中重合度最大的一个矩形框对应的信息记录在集合best‑box中；矩形框对应的信息至少包含该矩形框的变换尺度、该矩形框的位置以及该矩形框与目标区域的重合度；步骤5，将集合best‑box中的矩形框对应的图像片进行归一化并缩小得到正样本图像片，将所述正样本图像片存储在集合pEx中作为一个正样本；矩形框对应的图像片是指该矩形框在第一帧图像中框定的图像区域；将集合bad‑boxes中的每个矩形框对应的图像片进行归一化并缩小得到负样本图像片，将得到的所有负样本图像片存储在集合nEx中作为负样本；选取集合good‑boxes中重合度较大的前t个矩形框，并将所述前t个矩形框对应的图像片分别进行f次仿射变换，得到f*t个正样本图像片；分别提取所述f*t个正样本图像片的特征值并存储于集合pX中，将每个正样本图像片的特征值的标记符记为1，标记符记为1表示该标记符对应的特征值为正样本的特征值；分别提取集合bad‑boxes中的每个矩形框对应的图像片的特征值并存储于集合nX中，并将每个矩形框对应的图像片的特征值的标记符记为0，标记符记为0表示该标记符对应的特征值为负样本的特征值；将集合pX中的所有特征值与集合nX中的一半特征值组成一个含有正负样本特征值的集合fern‑data；将集合pEx中的一个正样本图像片与集合nEx中的一半负样本图像片组成一个含有正负样本图像片的集合nn‑data，且集合pEx中的一个正样本图像片为集合nn‑data中的第一个元素；步骤6，初始化随机森林分类器：遍历集合fern‑data中的所有样本特征值，若特征值的标记符为1，则确定该特征值为正样本特征值的后验概率；若特征值的标记符为0，则确定该特征值为负样本特征值的后验概率；步骤7，初始化最近邻分类器：构造集合pxx和集合nxx，集合pxx用于存储训练好的正样本，集合nxx用于存储训练好的负样本；设置相关相似度分类阈值，将集合nn‑data中的第一个元素存放在集合pxx中，将集合nn‑data中的第二个元素存放在集合nxx中，从集合nn‑data中的第三个元素开始遍历，计算集合nn‑data中从三个元素开始的每个元素的相关相似度；若集合nn‑data中从三个元素开始的每个元素的相关相似度大于所述相关相似度分类阈值，则将该元素存储于集合nxx中，否则，不做处理；步骤8，获取需要进行目标跟踪的图像帧，采用跟踪滤波器对所述需要进行目标跟踪的图像帧进行跟踪，得到跟踪到的目标中心位置，从而确定跟踪滤波器跟踪到的目标区域；采用跟踪到的目标区域对所述跟踪滤波器的第一参数、第二参数进行更新；步骤9，采用重合度检测器对所述需要进行目标跟踪的图像帧进行检测，得到需要进行目标跟踪的图像帧中所有可能的目标区域；步骤10，采用随机森林分类器对所有可能的目标区域分别进行检测，确定每个可能的目标区域中是否存在目标，从而得到可能存在目标的图像区域；步骤11，采用最近邻分类器计算每个可能存在目标的图像区域的相关相似度，从而确定存在潜在目标的图像区域；步骤12，对跟踪滤波器跟踪到的目标区域和所述最近邻分类器确定的存在潜在目标的图像区域进行综合处理，得到目标跟踪结果图像块；步骤13，根据所述目标跟踪结果图像块，对所述重合度检测器、所述随机森林分类器以及所述最近邻分类器进行更新学习；步骤14，重复执行步骤8至步骤13，直到得到视频中所有需要进行目标跟踪的图像帧的目标跟踪结果图像块，完成视频目标跟踪过程。