[发明专利]基于上下文的目标尺度自适应跟踪方法

摘要

本发明提供了一种基于上下文的目标尺度自适应跟踪方法，涉及一种图像跟踪领域，本发明以现有尺度方向自适应均值漂移算法为基础，使用基于表观特征和上下文信息的目标尺度调整算法对目标尺度调整机制进行改进，本发明的方法主要包括基于上下文信息的尺度调整类型确定，以及调用调整函数利用表观信息与上下文信息的尺度计算两部分，通过在调整机制中引入目标尺度的上下文信息，在考量表观信息的基础上，以尺度上下文信息的变化对调整类型进行细致分类，从而提高了原算法对目标尺度在目标面积数值与有效覆盖面积上的调整准确度，能有效提高原SOAMS算法对目标尺度的调整准确度。

主权项

一种基于上下文的目标尺度自适应跟踪方法，其特征在于包括下述步骤：第一步：在视频序列初始帧中确定目标并计算目标模型目标模型由以目标中心为原点的像素集合{x_i}_i＝1,2,...N,组成，N表示目标区域的像素点的个数，以fe表示目标特征空间中的特征索引，则目标可建模为：$\begin{array}{c}q={\left\{q_{fe}\right\}}_{fe=1,2,...,M}\\ q_{fe}=C\underset{i=1}{\overset{N}{\&Sigma;}}k\left(\right|\left|\frac{x_i}{h}\right|{|}^2)\mathrm{\&delta;}\&lsqb;b\left(x_i\right)-fe\&rsqb;\end{array}---\left(3\right)$式中：q——目标模型；q_fe——第fe个特征在目标模型上的概率；M——特征空间分量数δ——选择函数；b(x_i)——对应像素处颜色特征值；k(x)——加权核函数，为距中心远的像素分配较小的权值；||x_i||²——计算像素模值，表征像素距中心的远近；C——归一化系数，计算式如下$C=\frac{1}{\underset{i=1}{\overset{N}{\&Sigma;}}k\left(\right|\left|\frac{x_i}{h}\right|{|}^2)};---\left(4\right)$h——核函数窗宽，表征跟踪窗体的大小；第二步：计算目标区域的矩统计特征与方差阵，确定搜索区域，在搜索区域内确定搜索区域模型p(X)，确定方法如下：本发明中使用矩统计特征对图像中包含的目标的尺度进行描述，对于图像像素值为f(x,y)的区域，该区域的(p+q)阶矩特征定义为M_pq＝∫∫x^p*y^q*f(x,y)dxdy,p,q＝0,1,...∞   (5)根据矩特征定义，将目标区域的中心坐标与像素点集合的坐标代入式(5)即可求得目标区域的二阶矩μ₀₂、μ₁₁、μ₂₀，构造协方差阵对协方差阵进行奇异值分解得到其特征值：$\begin{array}{c}Cov=U*S*U^T\\ =\left(\begin{array}{cc}{u}_{11}& u_{12}\\ u_{21}& u_{22}\end{array}\right)*\left(\begin{array}{cc}{\mathrm{\&lambda;}}_1^2& 0\\ 0& {\mathrm{\&lambda;}}_2^2\end{array}\right)*{\left(\begin{array}{cc}{u}_{11}& u_{12}\\ u_{21}& u_{22}\end{array}\right)}^T\end{array}---\left(6\right)$式中：λ₁,λ₂——目标区域矩特征的特征值；U——特征分解得到的特征向量构成的矩阵；U^T——矩阵U的转置矩阵；S——对Cov阵进行分解后得到的中间转化矩阵；(u₁₁,u₂₁)^T，(u₁₂,u₂₂)^T——分别为矩特征的特征值λ₁,λ₂的特征向量；此时由式(6)得到的矩阵S以椭圆形表征了目标的尺度信息，SOAMS算法以椭圆中心为原点，重新构建以椭圆长短半轴为坐标轴的坐标系，即本原坐标系，求得当前椭圆的长短半轴的尺度为a和b，由于a、b与λ₁,λ₂都表征了目标的长短半轴，则有λ₁/λ₂≈ab，设a＝k*λ₁,b＝k*λ₂，其中k为尺度因子，根据目标区域面积A及椭圆面积公式S＝π*a*b，有A＝π*a*b＝π*(k*λ₁)*(k*λ₂),两式联立可求出k为$k=\sqrt{A/(\mathrm{\&pi;}*{\mathrm{\&lambda;}}_1*{\mathrm{\&lambda;}}_2)}---\left(7\right)$此时求出a,b，则Cov阵可转化为本原坐标系下的形式：${\mathrm{Cov}}_1=U*\left(\begin{array}{cc}{a}^2& 0\\ 0& b^2\end{array}\right)*U^T---\left(8\right)$由式(8)得到的新构造的协方差阵Cov₁可使用递增增量Δd确定表征目标在下一帧中的搜索区域尺度的协方差阵Cov₂如式(9)，在本发明中所使用的增量模值为5个像素：${\mathrm{Cov}}_2=U*\left(\begin{array}{cc}{(a+\mathrm{\&Delta;}d)}^2& 0\\ 0& {(b+\mathrm{\&Delta;}d)}^2\end{array}\right)*U^T---\left(9\right)$式中：Δd——递增增量，用以控制搜索区域的大小变化；a——目标区域长半轴；b——目标区域短半轴；此时满足下式的像素点集合X则为下一帧中的搜索区域坐标$(X-X_o)*{\mathrm{Cov}}_2^{-1}*{(X-X_o)}^T\&le;1---\left(10\right)$目标搜索区域由目标搜索区域内的像素集合X'＝{x'_i}_{i＝1,2,...N'},组成，其中心记为X_o'，N'表示目标搜索区域的像素点的个数，以fe表示目标特征空间中的特征索引，则目标搜索区域可建模为：$\begin{array}{c}p\left(X\right)={\left\{p_{fe}\right\}}_{fe=1,2,...,N^{\&prime;}}\\ p_{fe}\left(X\right)=C_h\underset{i=1}{\overset{N^{\&prime;}}{\&Sigma;}}k\left(\right|\left|\frac{x_i^{\&prime;}-X_o^{\&prime;}}{h}\right|{|}^2)\mathrm{\&delta;}\&lsqb;b\left(x_i^{\&prime;}\right)-fe\&rsqb;\end{array}---\left(11\right)$式中：p(X)——目标搜索区域模型；p_fe(X)——第fe个特征在目标模型上的概率；b(x_i')——对应像素处颜色特征值；C_h——归一化系数，计算式如下：$C_h=\frac{1}{\underset{i=1}{\overset{N^{\&prime;}}{\&Sigma;}}k\left(\right|\left|\frac{x_i^{\&prime;}-X_o^{\&prime;}}{h}\right|{|}^2)};---\left(12\right)$第三步：由均值漂移算法在搜索区域内求得候选区域，计算候选区域特征在由第一步、第二步得到目标模型q与搜索区域模型p_fe(X)后，由均值漂移算法，计算如式(13)均值漂移向量X_o，在一次搜索任务中每一次迭代搜索结束后X_o的值将赋给迭代起始点X'_o进行下一次迭代搜索，在搜索任务结束后X_o值为得到的最优搜索区域的质心坐标，此时最优搜索区域重合即为目标候选区域，式(13)所示的均值漂移向量通过计算目标候选区域内像素点x'_i与迭代起始点X'_o的加权距离与搜索区域的零阶矩之比得到，其中权值w_i为候选区域内第i个像素对应的特征隶属于目标模型的概率，候选区域内第i个像素所对应的特征由特征计算函数b(x_i)确定；$X_o=\frac{\underset{i=1}{\overset{N^{\&prime;}}{\&Sigma;}}{x}_i{w}_{i}g\left(\left|\right|\frac{X_o^{\&prime;}-x_i^{\&prime;}}{h}|{|}^2\right)}{\underset{i=1}{\overset{N^{\&prime;}}{\&Sigma;}}{w}_{i}g\left(\left|\right|\frac{X_o-x_i^{\&prime;}}{h}|{|}^2\right)}---\left(13\right)$$w_i=\underset{fe=1}{\overset{N^{\&prime;}}{\&Sigma;}}\sqrt{\frac{q_{fe}}{p_{fe}\left(X\right)}}\mathrm{\&delta;}\&lsqb;b\left(x_i\right)-fe\&rsqb;---\left(14\right)$式中：X'_o——迭代起始点x'_i——搜索区域内像素点w_i——搜索区域内各像素点对应的权值g(x)——加权核函数，为距中心远的像素分配较小的权值；第四步：由目标候选区域特征得到的巴氏系数与目标候选区域面积N，调用本发明所提出的基于表观信息与上下文信息的尺度调整机制，对目标候选区域的面积进行调整，进行调整的操作为：首先由前一时刻确定的目标面积及目标的运动规律确定当前的估计面积M；根据当前目标候选区域的尺度N与目标当前估计尺度M，判定当前调整类型；若当前尺度优先度最高，则使用分段型函数，通过计算N/M的数值确定使用何式计算，并代入巴氏系数与N、M变量进行计算，反之，则使用学习型函数，通过计算N/M的数值确定使用何式计算基础输出ref，并根据ref的输出与N/M的数值判定是否需要进行截断或附加增益；若确需附加增益则对增益进行确定；所述的基于表观信息与上下文信息的尺度调整机制包括如下步骤：4.1、基于上下文信息的调整类型的确定假设当前目标候选区域的巴氏系数为B_i，前一帧中目标区域的巴氏系数为B_i‑1，当前目标候选区域面积为N，根据前一帧中目标尺度，经由仿射变换得到当前目标面积的估计值M；调整类型的确定由N与M的大小关系进行确定，若N≥M，表示目标候选区域面积N大于等于当前目标面积的估计值M，需要在目标候选区域内选取目标的表观特征，用表观特征建立特征分布直方图，计算表观特征相似度对目标候选区域面积N进行缩小操作以符合目标的真实尺度；反之，若N<M，则表示目标候选区域的面积N小于当前目标面积的估计值M，则需要在目标候选区域内选取目标的表观特征，用表观特征建立特征分布直方图，来计算表观特征相似度对目标候选区域面积N进行放大操作以符合目标的真实尺度；4.2、基于表观信息与上下文信息的尺度计算若存在镜头漂移造成目标位置变动过大导致相邻视频帧中的目标位置互不交叠且跟踪任务中以最大化覆盖面积优先时，使用学习型函数；若镜头位置固定且以跟踪任务以最小化面积调整误差优先时，使用分段指数函数；调整函数类型确定后，调用对应的调整函数依据当前候选区域的巴氏系数进行计算；4.2.1使用学习型函数时，若调整类型根据步骤一确定为缩小操作，则根据当前目标候选区域的巴氏系数B_i计算尺度；若调整类型根据步骤一确定为放大操作，则根据当前目标候选区域的巴氏系数B_i与前一帧中目标区域的巴氏系数B_i‑1进行计算，目标尺度进行缩小和放大调整的步骤如下：(1)调用基础调整函数，确定基础输出，即输出参考值，根据N与M的比值由式(15)计算输出参考值ref；(2)调用式(16)对输出参考值ref进行判定：若N/M≥1.1且ref<1，则调整系数c的值为此时ref的值；若N/M≥1.1且ref>1，则对ref的数值进行截断，本发明使用的截断值为0.6，即此时的调整系数c为0.6；若N/M＜1.1，则调用式(17)的增益放大函数对ref进行放大，此时由巴氏系数之比(B_i/B_i‑1)确定当前的增益大小对ref的放大系数k；$\left.\begin{array}{c}ref=\left\{\begin{array}{cc}1.1,& N/M\&lt;=1.1\\ Max(0.8,9.5*temp),& else\end{array}\right.\\ temp=\frac{p1*B_i^2+p2*B_i+p3}{B_i^2+q1*B_i+q2}\\ p1=2272,p2=-3346,p3=1249,q1=-3300,q2=3298\end{array}\right\}---\left(15\right)$$c=\left\{\begin{array}{cc}0.6,& ref\&gt;1andN/M\&gt;=1.1\\ ref,& ref\&lt;1andN/M\&gt;=1.1\\ k*ref,& else\end{array}\right.---\left(16\right)$$k=\left\{\begin{array}{cc}3.3,& B_i/B_{i-1}\&gt;=1.2\\ 2.8,& else\end{array}\right.---\left(17\right)$其中，temp为临时拟合函数，p1、p2、p3、q1和q2分别为学习函数拟合系数，B_i为第i帧中的巴氏系数，B_i‑1为第i‑1帧中的巴氏系数，k为增益系数，ref为基础输出；(3)得到校正系数c后可计算得到修正面积A＝c*N；4.2.2使用分段指数函数时：(1)依据当前调整类型，调用式(18)所示的分段指数型调整函数，确定调整系数c：式中B_i为第i帧中的巴氏系数；(2)由步骤4.2.2的步骤(1)得到的校正系数c，可计算得到修正面积A＝c*N；第五步：计算当前协方差阵，标记目标，确定下一帧中目标的搜索区域，协方差阵与标记目标时所需的长短半轴的计算步骤与第二步相同，重复执行第三步至第五步直到跟踪标记任务结束。