[发明专利]基于TLD跟踪系统的视频目标跟踪方法

权利要求书

1.一种基于TLD跟踪系统的视频目标跟踪方法，其特征在于，所述TLD跟踪系统包含：跟踪滤波器，重合度检测器，随机森林分类器，以及最近邻分类器；所述视频目标跟踪方法包括如下步骤：

步骤1，获取视频中的第一帧图像，在所述第一帧图像中人为标定目标区域，在所述第一帧图像中获取以所述目标区域为中心，且大小为所述目标区域N倍的图像片；所述人为标定的目标区域为矩形区域；

步骤2，根据所述图像片的大小构造二维高斯分布函数以及汉明窗，进而根据所述图像片、所述二维高斯分布函数以及所述汉明窗，分别对跟踪滤波器的第一参数、第二参数进行初始化；

具体包括如下子步骤：

(2a)构造与所述图像片小大相同的矩形框sz，以及与所述图像片小大相同的汉明窗cos_win，所述汉明窗cos_win中位于(i_c,j_c)处的函数值cos_win(i_c,j_c)为：

其中，i_c∈(1,height_sz)，j_c∈(1,width_sz)，height_sz表示所述矩形框sz的高，width_sz表示所述矩形框sz的宽；

(2b)构造与所述矩形框sz大小相同的第一矩阵y_r和第二矩阵y_c，所述第一矩阵y_r中位于(r_h,r_l)处的元素的值为：所述第二矩阵y_c中位于(c_h,c_l)处的元素的值为：

其中，r_h∈(1,height_ry)，r_l∈(1,width_ry)，height_ry表示所述第一矩阵y_r的高，width_ry表示所述第一矩阵y_r的宽；c_h∈(1,height_cy)，c_l∈(1,width_cy)，height_cy表示所述第二矩阵y_c的高，width_cy表示所述第二矩阵y_c的宽；

(2c)根据所述第一矩阵y_r和第二矩阵y_c，得到二维高斯分布函数y，其中所述二维高斯分布函数y中位于(m_y,n_y)处的函数值

其中，m_y∈(1,height_sz)，n_y∈(1,width_sz)，height_sz表示所述矩形框sz的高，width_sz表示所述矩形框sz的宽；output_sigma为预设参数，

(2d)将所述图像片转换为灰度图像，并将所述灰度图像的像素值与所述汉明窗对应位置处的函数值分别相乘，得到临时矩阵，对所述临时矩阵进行归一化后得到矩阵x_init，将矩阵x_init作为跟踪滤波器的第一参数z_init；

(2e)分别求得矩阵x_init的DFT变换矩阵xf_init，以及矩阵z_init的DFT变换矩阵zf_init，将矩阵x_init的DFT变换矩阵xf_init与矩阵z_init的DFT变换矩阵zf_init对应位置元素点乘得到矩阵xzf_init，然后对xzf_init进行逆傅里叶变换得到矩阵xz_init；

从而求得核函数k_init：所述核函数k_init为height_initk行width_initk列的矩阵；

其中，k_init(m_initk,n_initk)表示核函数k_init中第(m_initk,n_initk)位置处的函数值，m_initk∈(1,height_initk)，n_initk∈(1,width_initk)，height_initk表示核函数k_init的行数，width_initk表示核函数k_init的列数，sigma表示指数系数，取值为0.2，xx表示矩阵x_init的二范数，zz表示矩阵z_init的二范数，xz_cul表示矩阵xz_init的循环移位；

(2f)确定跟踪滤波器的第二参数其中，F(y)表示二维高斯分布函数y的DFT变换，F(k)表示核函数k_init的DFT变换；

步骤3，以所述目标区域的大小为基准，构造多个不同尺度的矩形框；

第一尺度矩形框从所述第一帧图像的左上角开始，每次移动一个像素位置，从左往右，从上往下，依次遍历整个第一帧图像；在所述第一尺度矩形框遍历整个第一帧图像的过程中，记录该第一尺度矩形框的所有位置以及第一尺度矩形框在每个位置时与目标区域的重合度；所述第一尺度矩形框为多个不同尺度的矩形框中的任意一个矩形框；重合度的值大于0且小于1；

采用集合grid记录多个不同尺度的矩形框遍历所述第一帧图像过程中的所有位置以及每个尺度矩形框在每个位置时与目标区域的重合度，完成对重合度检测器的初始化；

步骤4，设置第一重合度阈值、第二重合度阈值，且第一重合度阈值大于第二重合度阈值；

对于集合grid，将其中重合度大于所述第一重合度阈值的矩形框对应的信息记录在集合good-boxes中，将其中重合度小于所述第二重合度阈值的矩形框对应的信息记录在集合bad-boxes中，将其中重合度最大的一个矩形框对应的信息记录在集合best-box中；矩形框对应的信息至少包含该矩形框的变换尺度、该矩形框的位置以及该矩形框与目标区域的重合度；

步骤5，将集合best-box中的矩形框对应的图像片进行归一化并缩小得到正样本图像片，将所述正样本图像片存储在集合pEx中作为一个正样本；矩形框对应的图像片是指该矩形框在第一帧图像中框定的图像区域；

将集合bad-boxes中的每个矩形框对应的图像片进行归一化并缩小得到负样本图像片，将得到的所有负样本图像片存储在集合nEx中作为负样本；

选取集合good-boxes中重合度较大的前t个矩形框，并将所述前t个矩形框对应的图像片分别进行f次仿射变换，得到f*t个正样本图像片；分别提取所述f*t个正样本图像片的特征值并存储于集合pX中，将每个正样本图像片的特征值的标记符记为1，标记符记为1表示该标记符对应的特征值为正样本的特征值；

分别提取集合bad-boxes中的每个矩形框对应的图像片的特征值并存储于集合nX中，并将每个矩形框对应的图像片的特征值的标记符记为0，标记符记为0表示该标记符对应的特征值为负样本的特征值；

将集合pX中的所有特征值与集合nX中的一半特征值组成一个含有正负样本特征值的集合fern-data；将集合pEx中的一个正样本图像片与集合nEx中的一半负样本图像片组成一个含有正负样本图像片的集合nn-data，且集合pEx中的一个正样本图像片为集合nn-data中的第一个元素；

步骤6，初始化随机森林分类器：遍历集合fern-data中的所有样本特征值，若特征值的标记符为1，则确定该特征值为正样本特征值的后验概率；若特征值的标记符为0，则确定该特征值为负样本特征值的后验概率；

步骤7，初始化最近邻分类器：构造集合pxx和集合nxx，集合pxx用于存储训练好的正样本，集合nxx用于存储训练好的负样本；

设置相关相似度分类阈值，将集合nn-data中的第一个元素存放在集合pxx中，将集合nn-data中的第二个元素存放在集合nxx中，从集合nn-data中的第三个元素开始遍历，计算集合nn-data中从第三个元素开始的每个元素的相关相似度；

具体包括如下子步骤：

(7a)获取集合nn-data中的第三个样本图像片，将第三个样本图像片与集合pxx中的每个样本图像片分别进行模板匹配，得到第三个样本图像片与集合pxx中的每个样本图像片的相关系数NCC：

其中，M_ncc为样本图像片的宽度，N_ncc为样本图像片的高度，图像片souimg是从集合nn-data中获取的样本图像片，图像片temp是集合pxx中的样本图像片，i_ncc∈(1,M_ncc)，j_ncc∈(1,N_ncc)；souimg(i_ncc,j_ncc)表示图像片souimg中位于(i_ncc,j_ncc)处的像素值，temp(i_ncc,j_ncc)表示图像片temp中位于(i_ncc,j_ncc)处的像素值；

(7b)根据集合nn-data中的第三个样本图像片与集合pxx中的每个样本图像片的相关系数，从而确定第一最大的相关系数maxP；

(7c)得到集合nn-data中的第三个样本图像片与集合nxx中的每个样本图像片的相关系数，从而确定第二最大的相关系数maxN；

(7d)设置第一参数dP＝1-maxP，第二参数dN＝1-maxN，从而得到集合nn-data中的第三个样本图像片的相关相似度conf＝dN/(dN+dP)；

(7e)遍历集合nn-data中的第三个样本图像片之后的每个样本图像片，得到集合nn-data中每个样本图像片的相关相似度；

若集合nn-data中从第三个元素开始的每个元素的相关相似度大于所述相关相似度分类阈值，则将该元素存储于集合nxx中，否则，不做处理；

步骤8，获取需要进行目标跟踪的图像帧，采用跟踪滤波器对所述需要进行目标跟踪的图像帧进行跟踪，得到跟踪到的目标中心位置，从而确定跟踪滤波器跟踪到的目标区域；

采用跟踪到的目标区域对所述跟踪滤波器的第一参数、第二参数进行更新；

具体包括如下子步骤：

(8a)获取需要进行目标跟踪的图像帧，将所述需要进行目标跟踪的图像帧转换为灰度图像，得到所述灰度图像中以上一帧图像目标位置为中心，与矩形框sz大小相同的图像片，将与矩形框sz大小相同的图像片的像素值与所述汉明窗对应位置处的函数值分别相乘，得到临时矩阵，对所述临时矩阵进行归一化后得到矩阵x_i，从而求得本帧图像对应的核函数，将本帧图像对应的核函数带入跟踪器的第二参数中，求得响应最大值点的位置max_i，将其作为跟踪滤波器跟踪到的目标中心位置，下标i表示需要进行目标跟踪的图像帧为第i帧图像；

(8b)在需要进行目标跟踪的图像帧中，获取以max_i为中心，大小与矩形框sz相同的图像片，将其与汉明窗相乘得到的矩阵进行归一化，得到矩阵x_i^c，令new_z_i＝x_i^c；从而根据矩阵x_i^c和矩阵new_z_i求得新的核函数k^c_i，再根据新的核函数k^c_i求得new_alphaf_i；

(8c)根据下式对跟踪滤波器的第一参数z_i和第二参数alphaf_i进行更新：

z_i＝(1-λ)z_i-1+λ×new_z_i

alphaf_i＝(1-λ)alphaf_i-1+λ×new_aphaf_i

其中，λ为学习率，z_i-1为第i-1帧图像中跟踪滤波器的第一参数值，alphaf_i-1为第i-1帧图像中跟踪滤波器的第二参数值，当i＝2时，z_i-1＝z_init；

步骤9，采用重合度检测器对所述需要进行目标跟踪的图像帧进行检测，得到需要进行目标跟踪的图像帧中所有可能的目标区域；

步骤10，采用随机森林分类器对所有可能的目标区域分别进行检测，确定每个可能的目标区域中是否存在目标，从而得到可能存在目标的图像区域；

步骤11，采用最近邻分类器计算每个可能存在目标的图像区域的相关相似度，从而确定存在潜在目标的图像区域；

步骤12，对跟踪滤波器跟踪到的目标区域和所述最近邻分类器确定的存在潜在目标的图像区域进行综合处理，得到目标跟踪结果图像块；

步骤13，根据所述目标跟踪结果图像块，对所述重合度检测器、所述随机森林分类器以及所述最近邻分类器进行更新学习；

步骤14，重复执行步骤8至步骤13，直到得到视频中所有需要进行目标跟踪的图像帧的目标跟踪结果图像块，完成视频目标跟踪过程。