[发明专利]可变视角及分辨率的双目视觉系统目标图像稳定化方法

摘要

基于双目PTZ视觉系统的高分辨率视频稳定化方法属于视觉监控领域，其特征在于：它同时利用由两路不同分辨率的视频，其中一路为低分辨率视角固定的全景图像，另一路为高分辨率变化视角的局部图像，包含感兴趣的运动目标。本发明建议采用两个PTZ摄像机以方便应用。高分辨率视频可以通过人工手动或者计算机自动控制摄像机运动得到。目标是得到一个完整、平稳的包含感兴趣运动目标的视频，并且尽可能采用高分辨率信息。本发明首先解决了不同分辨率视频之间的图像配准问题，其次提出四种顺序填充方式，充分利用了当前高分辨率信息以及历史高分辨率信息来填充目标视频。通过这样处理后的结果可以用于犯罪取证、监控记录保存、运动目标的行为分析等，实验结果表明本发明提出的方法很实用。

主权项

1.可变视角及分辨率的双目视觉系统目标图像稳定化方法，其特征在于，所述方法在PC机中依次按以下步骤实现：步骤(1)，使第一个可变视角，或分辨率的PTZ摄像机作为静止摄像机，用于监控全景，再使第二个可变视角，或分辨率的PTZ摄像机抓拍感兴趣的运动目标；步骤(2)，所述PC机从所述第一个PTZ摄像机中输入记录全景的图像，称为低分辨率图像I_L^t，并把每帧图像转换为灰度图像；所述PC机从所述第二个PTZ摄像机中输入记录运动目标的图像，称为高分辨率图像I_H^t，把每帧图像转换为灰度图像，并用所述的两个灰度图分别代替所述的I_L^t和I_H^t；步骤(3)，不同分辨率视频图像之间的配准：选择第t帧低分辨率图像I_L^t中所述运动目标所在的矩形区域I_L^t_tar所对应的高分辨率图像作为系统的输出图像I_out^t，然后计算所述高分辨率图像I_H^t和所述低分辨率图像I_L^t之间的映射模型M_LH^t，具体如下：步骤(3.1)，所述矩形区域I_{Lt_ta}^r的选定，步骤(3.1.1)，对所述低分辨率图像I_L^t求取低分辨率背景模型I_LB^t，像素(x，y)处的更新公式为：ILBt(x,y)=(1-α)ILBt-1(x,y)+αILt(x,y),]]>其中更新系数α＝0.05，初始低分辨率背景模型ILBt=0(x,y)=ILt=0(x,y),]]>如果|ILt(x,y)-ILBt(x,y)|>TLB,]]>T_LB＝20，则I_L^t在(x，y)属于前景区域，否则，该像素属于背景区域，步骤(3.1.2)，利用Opencv提供的Mean-shift跟踪算法，通过给定原始灰度图像I_L^t以及步骤(3.1.1)得到的前景区域，即可求得感兴趣目标在I_L^t图像中的位置，并在设定帧数的帧邻域内对所跟踪的目标中心进行均值平滑，平滑后的中心即为所述目标的中心，也是所述矩形区域的中心，该矩形区域的长宽设为64×48像素，最终得到的高分辨率输出图像I_out^t的尺寸为所述矩形区域的I_{Lt_ta}^r的k_o倍，k_o＝5，步骤(3.2)，用基于特征点的配准方法求取所述低分辨率图像I_L^t和高分辨率图像I_H^t之间的初步映射模型M_LH1^t：步骤(3.2.1)，计算所述第t帧高分辨图像I_H^t和低分辨率图像I_L^t中目标区域I_{Lt_ta}^r的SIFT特征点，步骤(3.2.2)，对I_H^t中的每个特征点，分别计算它和所述低分辨率图像目标区域I_{Lt_ta}^r中的每个特征点之间的距离，即s₁₂＝||v₁-v₂||，其中v₁和v₂分别表示两个特征点对应的SIFT特征向量，然后考虑距离最小的两组结果s_min¹和s_min²，如果T_s＝0.7，则s_min¹对应的特征点为匹配点，否则认为该点没有匹配特征点，如果两图之间的总匹配特征点对的个数少于10，则认为所述映射模型M_LH^t无效，转到步骤(4)，否则转到步骤(3.3)，步骤(3.2.3)，对所述的高分辨率图像I_H^t与所述低分辨率图像目标区域I_{Lt_ta}^r的SIFT匹配特征点对{(xi1,yi1)∈ILt,(xi2,yi2)∈IHt},i=1,2,...,n,]]>求取仿射变换矩阵MLH1t=m1m2m3m4m5m6001,]]>其中参数通过下式求取：[m₁，m₂，m₃，m₄，m₅，m₆]^T＝(A^TA)^-1AX，其中，A=x11y111000000x11y111x21y211000000x21y211..................xn1xn11000000x11x111,]]>X=x12y12x22y22...xn2yn2,]]>步骤(3.3)，调整所述低分辨率图像I_L^t的灰度值，得到校正图像I_{Lt_ad}^j步骤(3.3.1)，选定计算灰度映射的区域：对步骤(3.2)中所述两幅图像I_H^t和I_{Lt_ta}^r中匹配上的特征点集分别用一个凸多边形表示，该凸多边形以特征点为顶点，所有特征点都在多边形内部或顶点处，该凸多边形内部即为灰度映射区域，步骤(3.3.2)，统计上述凸多边形内的灰度直方图hist(k)，k＝0，1，…，255，按下式得到累计直方图：Accu(K)=Σk=1Khist(k)Σk=132hist(k),K=0,1,...,255]]>步骤(3.3.3)，用Accu¹和Accu²分别表示I_L^t和I_H^t的累积分布直方图，按下述方法划分三个灰度集合G₁，G₂，G₃：G₁＝{K：0≤A≤Accu¹(K)＜0.05}G₂＝{K：0.05≤Accu¹(K)＜0.95}G₃＝{K：0.95≤Accu¹(K)≤1}选取映射模型为三段分片线性模型K2=MI(K1)=a1K1+b1,K1∈G1a2K1+b2,K1∈G2a3K1+b3,K1∈G3,]]>其中K¹和K²分别表示I_L^t和I_H^t的灰度值，利用下面的目标函数线性拟合K∈G₂时所述图像I_L^t和I_H^t之间的灰度值映射函数K²＝MI(K¹)＝a₂K¹+b₂，K¹∈G₂：用灰度集合G₁、G₃分别拟合模型K²＝MI(K¹)＝a₁K¹+b₁，K¹∈G₁和K²＝MI(K¹)＝a₃K¹+b₃，K¹∈G₃，使得MI(0)＝0，MI(255)＝255，步骤(3.3.4)，根据I_L^t和I_H^t之间的灰度值映射模型MI(k)调整I_L^t的灰度值，得到I_{Lt_ad}^j，步骤(3.4)基于像素的直接配准方法估计I_L^t和I_H^t之间更精确的仿射模型M_LH2^t：步骤(3.4.1)，用步骤(3.2)中所述的M_LH1^t对所述的高分辨率图像I_H^t进行变换，得到图像I_{Ht_ad}^j，变换方法是：所述图像I_{Ht_ad}^j在坐标点(x_i，y_i)的值IH_adjt(xi,yi)=IHt(f(xi,yi,(MLH1t)-1)),]]>其中f是同构坐标变换函数，计算方法是：f(x，y，M)＝(x′，y′)，其中x和y′由[x′，y′，1]^T＝M[x，y，1]^T得到，步骤(3.4.2)，用迭代的梯度下降的方法求解下面的优化问题，得到模型M_refined^t：Mrefinedt=argminMΣi||IH_adjt(xi,yi)-IL_adjt(f(xi,yi,M))||]]>其中(x_i，y_i)是所述图像I_{Ht_ad}^j的第i个像素点坐标，f见步骤(3.4.1)，迭代初始值M₀设为3×3的单位矩阵，步骤(3.4.3)，如果步骤(3.4.2)中所求得的M_refined^t满足下面两个条件中的任何一个，则认为M_refined^t和M_LH2^t无效，不再对其进行计算，转到步骤(4)，a)||R2×2M-I2×2||∞<0.3;]]>b)||t2×1M||∞<4;]]>其中，Mrefinedt=RMtM,]]>[R_2×2^M t_2×1^M]是M_refined^t的前两行，步骤(3.4.4)，计算更精确的仿射模型MLH2t=MLH1tMrefinedt,]]>步骤(3.5)根据邻域2N+1帧图像对所述输出图像I_out^t进行平滑处理，取N＝5，步骤(3.5.1)，求取第j帧高分辨率图像到第i帧高分辨率图像的变换模型M_jⁱ由步骤(3.1.1)中所求得的I_L^t中的前景区域通过步骤(3.4.1)中的变换方法由所述的更精确的仿射模型M_LH2^t得到对应的I_H^t中的前景目标，进而得到I_H^t的背景区域，用步骤(3.2)中的方法，求取所述第j帧高分辨图像I_H^j和第i帧高分辨率图像I_Hⁱ之间的变换模型M_jⁱ，步骤(3.5.2)求取平滑模型M_LH^t，MLHt=Σi=t-Nt+NωiδiMitMLH2iΣi=t-Nt+Nωiδi]]>其中，ω_i是高斯权重系数，N＝5，ωi=12πσe(i-t)22σ2,]]>σ＝1.5，δ_i取值为：步骤(3.5.3)计算当前帧的相对模糊度b_tbt=1Σpt[dx2(pt)+dy2(pt)]]]>其中，p_t为所述第t帧高分辨率图像I_H^t中的像素点，dx(·)和dy(·)分别是图像沿着x和y方向上的梯度，如果b_t＞1.3min{b_t-1，b_t+1}，则认为当前帧为模糊图像，并设定M_LH^t无效；步骤(4)图像补全：对所述输出图像中未被高分辨率图像完全覆盖的部分进行图像补全，具体步骤如下：步骤(4.1)估计高分辨率背景图像I_HB^t步骤(4.1.1)如果步骤(3)中所述的M_LH^t有效，通过步骤(3.4.1)中所述的变换方法由所述的变换模型M_LH^t变换得到与步骤(3.1.1)所述低分辨率图像I_L^t中的背景区域I_LB^t对应的I_H^t中的背景区域，步骤(4.1.2)对第t帧，用第1，2，…，t+50帧中的高分辨率背景区域来更新当前高分辨率背景模型I_HB^t，对于下一帧的背景模型I_HB^t+1，如果M_LH^t有效，则将I_H^t+51的背景区域映射到I_HB^t上，然后对于重叠区域用0.5的衰减因子进行更新，即对背景区域的像素灰度值进行如下处理：IHBt+1=0.5IHBt+0.5IHt+51;]]>否则，IHBt+1=IHBt,]]>步骤(4.2)对I_out^t进行填充：步骤(4.2.1)利用所述的高分辨率图像I_H^t和变换模型M_LH^t填充图像，如果M_LH^t有效，则用步骤(3.4.1)中所述的变换方法由所述的变换模型M_LH^t将所述高分辨率图像I_H^t变换到所述输出图像I_out^t上，所述输出图像I_out^t中重叠的区域即可用I_H^t的灰度值进行填充，步骤(4.2.2)对背景部分，如果所述输出图像I_out^t的未填充部分包含背景像素，则直接利用I_HB^t中对应的有效像素进行填充，步骤(4.2.3)对前景部分，如果第t帧满足下面三个条件之一时，转到步骤(4.2.3.1)，否则转到到步骤(4.2.4)a)所述的变换模型M_LH^t无效b)所述的高分辨率图像I_H^t不包含完整的感兴趣目标c)步骤(3.5.3)中判断所述的高分辨率图像I_H^t是模糊的图像步骤(4.2.3.1)建立和更新参考样本队列参考样本队列最大长度取为60，如果第t帧同时满足下面三个条件之一，则该帧将产生一个参考样本：a)所述的变换模型M_LH^t有效；b)所述的高分辨率图像I_H^t包含完整的感兴趣目标；c)所述的高分辨率图像I_H^t不是模糊的图像；参考样本由两个包含前景区域的图像块构成，分别由只保留前景区域的I_L^t和I_H^t，用SPt={SPLt,SPHt}]]>表示，其中SP_Lⁱ表示第i帧只包含前景目标的低分辨率图像固定大小参考帧，大小为40×40，SP_Hⁱ表示第i帧只包含前景目标的与SP_Lⁱ相对应的高分辨率图像的参考帧，大小为200×200，采用先入先出的策略更新参考帧队列，步骤(4.2.3.2)在所述参考帧队列中查找与当前帧最匹配的参考帧对于第t帧，我们只考虑I_L^t中完全包含目标的矩形图像区域sub(I_L^t)，用下面的步骤计算参考帧队列中所有的SP_Lⁱ，i＝1，2，...，60与sub(I_L^t)的相似度：步骤(4.2.3.2.1)计算SP_Lⁱ到sub(I_L^t)的平移变换模型(dx，dy)^T选取初始值为sub(I_L^t)中前景目标中心点坐标与SP_Lⁱ中前景目标中心点的差，用基于迭代的梯度下降优化算法求得平移变换模型(dx，dy)^T，步骤(4.2.3.2.2)用下面的公式计算相似度：exp(-1Num(p)Σp∈Foreg(ILt),p-(dx,dy)T∈Foreg(SPLi)|(sub(ILt))(p)-SPLi(p-(dx,dy)T)|)]]>其中，Foreg(SP_Lⁱ)是SP_Lⁱ的前景目标的像素集合，Foreg(I_L^t)是I_L^t前景目标的像素集合，p是SP_Lⁱ经过平移变换后其前景目标像素集合与Foreg(I_L^t)的交集中的一个像素，Num(p)是交集中像素的个数，如果交集的像素个数小于Foreg(SP_Lⁱ)像素个数的60％，或者小于Foreg(I_L^t)像素个数的60％，则令相似度为0，如果当前帧t有效，则取本帧为相关参考帧，定义为即ref_t＝t；否则，则取队列中与sub(I_L^t)相似度最大的参考帧为相关参考帧，若最大相似度小于Th_MAD＝exp(-20)，则认为sub(I_L^t)没有相关参考帧，即无效，转到策略(3)；否则有效，步骤(4.2.3.2.3)估计当前帧与其参考帧之间的高分辨率图像光流场V^H，由邻近共三帧及其对应的参考帧i＝t-1，t，t+1进行估计：步骤(4.2.3.2.3.1)采用基于迭代的梯度下降优化算法求得从到的平移变换模型，然后用此模型将变换到SP_t-1^t，从而去除了两者之间的整体运动；同理，对进行同样操作，得到去除整体运动的SP_t+1^t；对当前帧，即第t帧，令SPtt=SPHreft]]>步骤(4.2.3.2.3.2)利用调整后的SP_t-1^t，SP_t^t，SP_t+1^t来估计高分辨率的光流场V^H用Opencv提供的Lucas-Kanade光流算法分别估计从SP_t^t到SP_t-1^t和SP_t+1^t之间的光流场V_t，t-1^H和V_t，t+1^H，则VH=12(Vt,t-1H+Vt,t+1H)]]>步骤(4.2.3.2.4)估计帧内低分辨率图像光流场V^L，同样采用Opencv提供的Lucas-Kanade光流算法估计与sub(I_L^t)之间的光流场F_L^t，将其放大5倍即可得到V^L，步骤(4.2.3.2.5)如果有效，估计与I_out^t之间的最终光流场F_H^t，F_H^t由下面的优化问题解得：minE=βΣ(x,y)∈Vω1(x,y)[(u-uH)2+(v-vH)2]]]>+γΣ(x,y)∈Vω2(x,y)[(u-uL)2+(v-vL)2]]]>其中V是图像有效区域，(x，y)是V中的一个像素，u和v分别是u(x，y)和v(x，y)的简写，分别代表F_H^t在(x，y)点沿x方向和y方向的分量，(u_H，v_H)代表V^H在(x，y)处的取值，ω₁(x，y)是权重系数，取为ω₁(x，y)＝exp(-||[u_H，v_H]||/10)，(u_L，v_L)代表V^L在(x，y)处的取值，ω₂(x，y)是权重系数，取为ω₂(x，y)＝1，如果V^H有效，则取β＝2，γ＝1，否则，取β＝0，γ＝1，步骤(4.2.3.2.6)填充输出图像，用经过光流场F_H^t的变换后采用双线性插值填充输出图像的前景部分，步骤(4.2.4)对还未填充的区域，用低分辨率的图像I_L^t放大并用双线性插值得到，步骤(4.3)灰度值调整用步骤(3.3)中所述的方法调整输出图像中区域R₁和R₄，与R₂灰度值保持一致，其中R₁是所述输出图像I_out^t中用步骤(4.2.1)填充的图像区域，R₂是所述输出图像I_out^t中用步骤(4.2.2)填充的图像区域，R₃是所述输出图像I_out^t中用步骤(4.2.3)填充的图像区域，R₄是所述输出图像I_out^t中用步骤(4.2.4)填充的图像区域，调整R₁时，只用R₁与所述高分辨率背景模型I_HB^t重叠部分的像素计算灰度值映射模型，并只调整这些重叠部分的像素，调整R₄时，亦只用R₄与所述高分辨率背景模型I_HB^t重叠部分的像素计算灰度值映射模型，但对所有的像素值均进行调整，步骤(4.4)输出图像空间连续性调整对于步骤(4.3)中所述的输出图像区域R₁，R₂和R₄作如下处理：先对边界部分用5×5的结构单元进行形态学膨胀，再对膨胀后的边界部分用3×3的均值滤波器进行平滑，步骤(4.3)中所述的输出图像区域R₃部分保持不变。