[发明专利]一种多特征迁移学习的实时压缩跟踪方法

摘要

本发明公开了一种多特征迁移学习的实时压缩跟踪方法，包括了以下步骤产生训练样本，在当前帧和先前跟踪到目标的视频帧中分别提取正负样本用于分类器的训练；提取训练样本中目标和背景的特征，采用两个互补的稀疏映射矩阵将提取的高维特征投影到压缩域的低维特征，并产生两种平衡的特征用于表示目标和背景；分类器的构建与更新，使用压缩域的特征训练出一个朴素贝叶斯分类器用于对待检测样本进行分类；二次目标搜索策略，采用由粗到精的二次搜索策略减少产生的扫描窗口数量，从而减少待检测的样本数量，加速目标搜索过程，将响应值最大的扫描窗口作为跟踪到的目标，并以此对训练样本和分类器进行更新。

主权项

一种多特征迁移学习的实时压缩跟踪方法，其特征在于，包括以下步骤：步骤1，从视频的当前帧和先前帧跟踪到目标的帧中提取出训练样本用于分类器的训练，训练样本包括目标领域样本和源领域样本，所述当前帧为第t帧，先前帧为第1帧到第t‑1帧；步骤2，从训练样本中提取出目标领域样本和源领域样本的特征，用不同尺寸的矩形框与训练样本卷积得到对应尺寸的特征，将所述特征串联得到高维特征，分别采用两个互补的稀疏映射矩阵将高维特征投影到压缩域的低维特征，得到目标领域样本的压缩域特征和源领域样本的压缩域特征；步骤3，根据目标领域样本的压缩域特征和源领域样本的压缩域特征分别构建各自的朴素贝叶斯分类器，并融合形成最终的强分类器，使用所述最终的强分类器对待检测样本进行分类，所述待检测样本为t+1帧中提取出的样本，当待检测样本的最大响应值小于阈值时，暂停训练样本中源领域样本的更新，当待检测样本的最大响应值大于或等于阈值时，重启对训练样本中源领域样本的更新；步骤4，采用由粗到精的二次搜索策略，对于待检测样本中的t+1帧以当前帧目标所在的位置为圆心，以半径γc＝25，以步长Δc＝4产生扫描窗口，半径γc和步长Δc的单位为像素，使用最终的强分类器找到响应值最大的窗口，并以此为圆心，以半径γf＝10像素，以步长Δf＝1像素再次产生扫描窗口，使用最终的强分类器找到响应值最大的窗口作为最终跟踪到的目标；步骤1包括以下步骤：步骤1‑1，提取目标领域样本：从跟踪到目标的当前帧中提取目标领域样本，lt(z0)表示当前帧跟踪到的目标中心位置，z0表示当前帧跟踪到的目标窗口，在距离目标位置α个像素范围内采集正样本，正样本用Zα＝{z|||lt(z)‑lt(z0)||<α}表示，其中，lt(z)表示正样本的中心位置，z表示正样本所在的窗口，并按照正样本与目标位置之间的距离按从小到大的顺序进行排序，在目标附近的环形区域内随机采集负样本，负样本用Zγ,β＝{z|γ<||lt(z)‑lt(z0)||<β}表示，γ表示环形区域的内半径，γ>α，β表示环形区域的外半径，采集的正负样本组成目标领域样本；步骤1‑2，提取源领域样本：从先前帧跟踪到目标的视频帧中提取源领域样本，源领域样本中正样本的空间为N，在初始N帧，把跟踪到的目标放入源领域样本集的正样本空间中，正样本空间满后，用第t‑1帧跟踪到的目标替换正样本中最先加入的样本，负样本由目标领域样本中的负样本复制得到；步骤2包括以下步骤：步骤2‑1，计算训练样本特征：使用矩形特征描述训练样本，每个矩形特征对应了图像在这个矩形区域内的像素和，矩形的宽在1到w之间变化，高在1到h之间变化，w和h分别表示样本的宽和高，矩形区域的位置随机选择，使用积分图加速矩形特征的计算；步骤2‑2，生成原始稀疏测量矩阵：根据步骤2‑1在一个样本上产生的矩形特征经过串联后得到样本的特征空间x＝(x1,...,xm)T，表示样本集，xm表示特征空间x中的第m个特征，其中m＝(wh)2，特征空间x的维数在106～1010之间，使用原始稀疏测量矩阵对特征空间进行压缩，原始稀疏测量矩阵rij定义如下：其中i表示矩阵的行，其范围由低维空间的维数决定，j表示矩阵的列，j∈[1,m]，参数s取值为2或3，低维特征vi的提取公式如下所示：vi=Σjrijxj,]]>其中xj表示特征空间x中的第j个特征，vi表示压缩域的第i个低维特征；步骤2‑3，生成互补稀疏测量矩阵：互补稀疏测量矩阵的生成公式如下所示：其中randi(2)表示随机产生值为1或2的整数，k表示ri中的第k个非零值；通过低维特征的提取公式得到与低维特征vi互补的特征v′i，当ri中同时存在正值和负值时，特征vi表现出图像块间灰度的差异，体现为纹理特征，vi′表现出图像块灰度的均值，体现为灰度均值特征；步骤3包括以下步骤：步骤3‑1，构建朴素贝叶斯分类器：对于每一个样本在低维特征空间中的表示为n表示低维特征空间的维数，构建一个朴素贝叶斯分类器H(V)：H(V)=log(Πi=1np(vi|y=1)p(y=1)Πi=1np(vi|y=0)p(y=0))=Σi=1nlog(p(vi|y=1)p(vi|y=0)),]]>i取值范围1～n，vi表示第i个低维特征空间，先验概率p(y＝1)＝p(y＝0)，y表示样本的类别标签，其值为0或1，为0表示负样本，为1表示正样本，条件概率p(vi|y＝1)和p(vi|y＝0)服从高斯分布，即：p(vi|y=1)~N(μi1,σi1),p(vi|y=0)~N(μi0,σi0),]]>式中和分别表示条件概率p(vi|y＝1)高斯分布的均值和方差，和分别表示条件概率p(vi|y＝0)高斯分布的均值和方差，μ1、σ1分别为正样本的均值与标准差，μ0、σ0分别为负样本的均值与标准差；步骤3‑2，多特征融合：融合目标领域样本的压缩域特征和源领域样本的压缩域特征，采用弱耦合的方式，通过加权和的方式进行特征的融合，两种特征保持1:1的数量比例，两种特征权重相同，基于融合特征的强分类器H*(V)为：H*(V)=Σi=1n(log(p(vi|y=1)p(vi|y=0))+log(p(vi′|y=1)p(vi′|y=0)))=Σi=1n(log(p(vi|y=1))-log(p(vi|y=0))+log(p(vi′|y=1))-log(p(vi′|y=0))),]]>其中v′i表示与vi成互补关系的特征；步骤3‑3，强分类器的构建：使用源领域样本和目标领域样本分别训练各自的朴素贝叶斯强分类器HS和HT，并经过加权和构成最终的强分类器H，其形式如下：H=NN+PHS+PN+PHT,]]>其中HS表示由源领域样本训练得到的强分类器，HT表示由目标领域样本训练得到的强分类器，目标领域样本集中正样本的空间为P，源领域样本集中正样本的空间为N；步骤3‑4，分类器参数更新：每次跟踪得到新的目标后对分类器的参数进行在线更新，更新公式如下所示：正样本的参数更新方式如下：μi1←λμi1+(1-λ)μ1,]]>σi1←λ(σi1)2+(1-λ)(σ1)2+λ(1-λ)(μi1-μ1)2,]]>负样本的参数更新方式如下：μi0←λμi0+(1-λ)μ0,]]>σi0←λ(σi0)2+(1-λ)(σ0)2+λ(1-λ)(μi0-μ0)2,]]>λ表示学习率，λ>0，当待检测样本的最大响应值小于阈值时，暂停分类器参数的更新，计算阈值Th公式如下：Th=11+e-max(H(v)),]]>当阈值Th的值小于0.5，暂停对分类器参数的更新，直到后续视频帧中发现阈值Th大于或等于0.5时再次使用跟踪到的目标对分类器参数进行更新；步骤4包括以下步骤：步骤4‑1，初次搜索：采用由粗到精的搜索策略来对目标进行定位，假设在第t‑1帧跟踪到的目标所在的位置为lt‑1，为搜索第t帧中目标的位置，首先以t‑1帧目标位置的中心为圆心，以γc为半径，Δc为步长产生搜索窗口，即其中，Z表示搜索窗口，l(Z)表示搜索窗口的中心位置，表示以γc为半径、Δc为步长产生的搜索窗口的集合，使用步骤3‑3得到的强分类器H对所述搜索窗口进行分类，找到响应值最大的窗口所在的位置lt′；步骤4‑2，二次搜索：以位置lt′为圆心，以γf为半径，Δf为步长产生二次搜索窗口，即表示以γf为半径，Δf为步长产生的搜索窗口的集合，使用步骤3‑3得到的强分类器H对所述二次搜索窗口进行分类，找到响应值最大的窗口所在的位置lt作为最终跟踪到的目标。