[发明专利]一种基于多特征判别学习的实时目标跟踪方法

权利要求书

1.一种基于多特征判别学习的实时目标跟踪方法，其特征在于，包括以下步骤：

1)获取视频中的灰度视频帧，使用Cross-bin分布场特征描述跟踪目标的亮度属性；

2)使用增强梯度直方图特征EHOG对跟踪目标的纹理多样性进行建模；

3)通过视频的彩色视频帧，提取颜色特征CN来保持颜色一致性；

4)将步骤1)、2)、3)中得到的多维度特征通过希尔伯特空间映射投影到高维特征空间，获得内积映射，包括如下步骤：

4.1)将获得的数据通过多通道相关滤波器将原始CSK扩展成多维特征，也就是将多维特征在在傅里叶域使用方差为σ的高斯权值求和计算成最终的特征；

4.2)使用判别学习的方法学习步骤1)、2)、3)中多维度特征响应图进行自适应融合；

4.3)利用步骤4.2)学习到的权值将不同线索的特征相应进行多线索加权，获得最终所有特征的加权置信图；

5)将步骤4.3)得到的置信图放入到CSK框架中进行跟踪，找到跟踪目标位置，然后更新模板进行目标追踪。

2.根据权利要求1所述的一种基于多特征判别学习的实时目标跟踪方法，其特征在于：

在步骤1)中，从标准视频库中选取一个待测试的视频序列，对于获取的总数量为T的视频序列，从第1帧开始，确定第t帧的目标数据x，t为1到T之间的任意帧，将它标记为x_m,n，m和n代表灰度图像的行列值；

在步骤2)中，对于带标签训练数据(x_1,1,y_1,1),...,(x_m,n,y_m,n)，其中x_m,n为训练样本数据，y_m,n为期望结果，需要计算多维度特征F_f(m,n,k)，k表示灰度特征直方图的bin值，多维度特征包括亮度特征CDF、纹理特征EHOG和颜色特征CN，具体计算如下：

①计算亮度特征F_cdf(m,n,k)，采用局部相关性近似与cross-bin分布场度量方法来描述亮度特征；其中，分布场是图像每个像素点的概率分布矩阵，表示本像素属于一个特征的概率值，一个分布场是一个3维的概率分布矩阵，包括图像的宽度、高度和特征灰度值的范围，在灰度特征空间，w×h尺寸图片能够生成一个三维w×h×b的特征场，w是图像的宽度，h是图像的高度，b是灰度特征直方图的bin值的数量，使用将一个原始灰度图像I(m,n)拆分到不同特征层的不同分布场，D_k是一个集合，它的范围为D_k＝[255k/b,255(k+1)/b]，k∈{0,2,...,b-1}表示灰度特征直方图的bin值，b是灰度特征直方图的bin值的数量；然后使用cross-bin度量方式，即直方图边缘滤波的方式来计算亮度特征，具体公式为其中，是空间维度的高斯核，标准差为σ_s，是特征空间的一维高斯核，标准差为σ_k，*表示卷积操作；

②计算纹理特征F_ehog(m,n,k)，采用增强方向梯度直方图EHOG来描述纹理不变性，使用有限差分滤波器[-1,0,+1]和它的转置来计算梯度；其中，根据梯度对方向敏感与否，将梯度分为对比度敏感B₁和对比度不敏感B₂，定义

θ(m,n)表示图像中像素点的方向，p,q分别表示对比度不敏感的和对比度敏感的方向梯度的个数；然后用B来表示B₁或者B₂，k∈{0,1,...,p+q-1}，k表示直方图的bin值，则能够计算出(m,n)所在网格的特征图F_ho_g(m,n,k)为：α(m,n)表示图像中像素点的幅度值，此外，需要进行归一化获得梯度的不变性，使用四种不同的归一化因子N_1,-1(m,n,k)、N_1,1(m,n,k)、N_-1,-1(m,n,k)、N_-1,1(m,n,k)，得到梯度不变性的特征图其中δ_x∈{-1,1}，δ_y∈{-1,1}，具体计算公式为：

采用四种不同的归一化方式后，获得归一化后的特征图F_ehog(m,n,k)，具体计算公式为：

Fehog(m,n,k)=Fhog(m,n,k)/N1,1(m,n,k)Fhog(m,n,k)/N1,-1(m,n,k)Fhog(m,n,k)/N-1,1(m,n,k)Fhog(m,n,k)/N-1,-1(m,n,k)]]>

③计算颜色特征F_cn(m,n,k)，计算机中使用的RGB颜色需要通过映射矩阵来映射到11维度的概率颜色矩阵中，映射矩阵是由谷歌图片搜索学习到的，将颜色概率表示为F_cn(m,n,k)＝Map(R(m,n),G(m,n),B(m,n),k)，其中R(m,n)、G(m,n)、B(m,n)分别代表RGB图片中的三种颜色通道，Map表示从RGB映射到11维颜色的映射矩阵，k表示直方图的bin值，F_cn(m,n,k)中每个点的取值表示此元素点属于11种颜色中每种颜色的概率；

在步骤3)中，融合多线索特征，将步骤2)中得到的多维度特征根据式进行融合，得到第t帧的融合特征其中，表示第t帧的多线索特征，表示进行傅里叶变换，∑_k表示进行0到k上的累加运算，并根据式进行希尔伯特空间映射投影到高维特征空间，获得第t帧的内积映射其中，κ表示进行高斯核函数运算，表示第t帧的频域模型，它的计算方法为

在步骤4.1)中，将多线索特征放入CSK框架进行跟踪，将原始CSK扩展成多维度和多线索的跟踪器，将跟踪看成是分类问题，分出前景和背景；每个像素值表示根据多个线索融合标准来判断此位置属于前景或背景的概率；每条线索也就是每种特征有一个置信特征图；融合所有特征的置信特征图便得到最终的置信图，将此置信图放入到CSK框架中进行跟踪；

通过多通道相关滤波器扩展多维特征，也就是将多维特征在傅里叶域使用方差为σ的高斯权值求和计算成最终的特征,

其中，x_(m,n)表示第t帧的目标数据，x′_(m,n)表示第t+1帧的目标数据，κ表示进行高斯核函数运算，k表示直方图的bin值，exp表示以自然常数e为底的指数函数，表示傅里叶变换，表示傅里叶逆变换；

在步骤4.2)中，针对训练数据x，使用标准化最小平方法RLS损耗方差的核函数闭合解为A_f＝(H_f+λI)^-1Y，其中I为单位矩阵，λ为正则项系数，矩阵H_f的元素为h_m,n(x,x')，矩阵Y＝{y_m,n}为标签结果；通过核函数计算得到高维空间下的训练样本自相关；将上述闭合解转化到傅里叶域计算得到CSK相关滤过器的参数从而计算得出特征响应⊙表示点乘运算；对应的使用多特征判别最小化的方法学习到步骤2.1)、2.2)、2.3)中各特征的权值ω_f，其中r_f表示特征响应r_m,n，argmin()是指使得函数取得其最小值的所有自变量的集合；

在步骤4.3)中，利用步骤4.2)学习到的权值将不同线索的特征响应进行多线索加权，其中F_f是表观特征，M_f是频域模型，ω_f是该特征的加权值，r_m.n即为最终获得的融合所有特征的多线索置信图；

在步骤5)中，将步骤4.3)得到的置信图放入到CSK框架中进行跟踪，根据找到跟踪目标位置通过目标位置更新频域模型计算得到预测的频域模型M′_f，从而进一步计算得到预测的闭合解A′_f，A′_f＝Y/(H'_f+λ)＝Y/(κ(M′_f,M′_f)+λ)，H'_f表示预测的内积映射，然后使用更新模板计算得到t+1帧的目标模型其中，表示第t帧的频域模型，表示第t帧的闭合解，找到t+1帧的目标数据，实现目标追踪，其中，λ为正则项系数，γ∈[0,1]为学习率。