[发明专利]可变视角及分辨率的双目视觉系统目标图像稳定化方法

权利要求书

1.可变视角及分辨率的双目视觉系统目标图像稳定化方法，其特征在于，所述方法在PC机中依次按以下步骤实现：

步骤(1)，使第一个可变视角，或分辨率的PTZ摄像机作为静止摄像机，用于监控全景，再使第二个可变视角，或分辨率的PTZ摄像机抓拍感兴趣的运动目标；

步骤(2)，所述PC机从第一个PTZ摄像机中输入记录全景的图像，称为低分辨率图像 并把每帧图像转换为灰度图像；所述PC机从第二个PTZ摄像机中输入记录运动目标的图像，称为高分辨率图像 把每帧图像转换为灰度图像，并用两个灰度图分别代替所述的 和 步骤(3)，不同分辨率视频图像之间的配准：选择第t帧低分辨率图像 中所述运动目标所在的矩形区域 所对应的高分辨率图像作为系统的输出图像 然后计算所述高分辨率图像 和所述低分辨率图像 之间的映射模型 具体如下：

步骤(3.1)，所述矩形区域 的选定，

步骤(3.1.1)，对所述低分辨率图像 求取低分辨率背景模型 像素(x，y)处的更新公式为：

其中更新系数α＝0.05，初始低分辨率背景模型 如果 T_LB＝20，则 在(x，y)属于前景区域，否则，该像素属于背景区域，

步骤(3.1.2)，利用Opencv提供的Mean-shift跟踪算法，通过给定原始灰度图像 以及步骤(3.1.1)得到的前景区域，即可求得感兴趣目标在 图像中的位置，并在设定帧数的帧邻域内对所跟踪的目标中心进行均值平滑，平滑后的中心即为所述目标的中心，也是所述矩形区域的中心，该矩形区域的长宽设为64×48像素，最终得到的高分辨率输出图像 的尺寸为所述矩形区域的 的k_o倍，k_o＝5，

步骤(3.2)，用基于特征点的配准方法求取所述低分辨率图像 和高分辨率图像 之间的初步映射模型 

步骤(3.2.1)，计算所述第t帧高分辨图像 和低分辨率图像 中目标区域 的SIFT特征点，

步骤(3.2.2)，对 中的每个特征点，分别计算它和所述低分辨率图像目标区域 中的每个特征点之间的距离，即s₁₂＝‖v₁-v₂‖，其中v₁和v₂分别表示两个特征点对应的SIFT特征向量，然后考虑距离最小的两组结果 和 如果 T_s＝0.7，则 对应的特征点为匹配点，否则认为该点没有匹配特征点，如果两图之间的总匹配特征点对的个数少于10，则认为所述映射模型 无效，转到步骤(4)，否则转到步骤(3.3)，

步骤(3.2.3)，对所述的高分辨率图像 与所述低分辨率图像目标区域 的SIFT匹配特征点对 i＝1，2，...，n，求取仿射变换矩阵 其中参数通过下式求取：

[m₁，m₂，m₃，m₄，m₅，m₆]^T＝(A^TA)^-1AX，

其中，

步骤(3.3)，调整所述低分辨率图像 的灰度值，得到校正图像 

步骤(3.3.1)，选定计算灰度映射的区域：对步骤(3.2)中两幅图像 和 中匹配上的特征点集分别用一个凸多边形表示，该凸多边形以特征点为顶点，所有特征点都在多边形内部或顶点处，该凸多边形内部即为灰度映射区域，

步骤(3.3.2)，统计上述凸多边形内的灰度直方图hist(k)，k＝0，1，…，255，按下式得到累计直方图： 

K＝0，1，…，255

步骤(3.3.3)，用Accu¹和Accu²分别表示 和 的累积分布直方图，按下述方法划分三个灰度集合G₁，G₂，G₃：

G₁＝{K：0≤Accu¹(K)＜0.05}

G₂＝{K：0.05≤Accu¹(K)＜0.95}

G₃＝{K：0.95≤Accu¹(K)≤1}

选取映射模型为三段分片线性模型 其中K¹和K²分别表示 和 的灰度值，利用下面的目标函数线性拟合K∈G₂时所述图像 和 之间的灰度值映射函数K²＝MI(K¹)＝a₂K¹+b₂，K¹∈G₂：

用灰度集合G₁、G₃分别拟合模型K²＝MI(K¹)＝a₁K¹+b₁，K¹∈G₁和K²＝MI(K¹)＝a₃K¹+b₃，K¹∈G₃，使得MI(0)＝0，MI(255)＝255，

步骤(3.3.4)，根据 和 之间的灰度值映射模型MI(k)调整 的灰度值，得到 步骤(3.4)基于像素的直接配准方法估计 和 之间更精确的仿射模型 

步骤(3.4.1)，用步骤(3.2)中所述的 对所述的高分辨率图像 进行变换，得到图像 变换方法是：

所述图像 在坐标点(x_i，y_i)的值 其中f是同构坐标变换函数，计算方法是：

f(x，y，M)＝(x′，y′)，其中x′和y′由[x′，y′，1]^T＝M[x，y，1]^T得到，

步骤(3.4.2)，用迭代的梯度下降的方法求解下面的优化问题，得到模型 

其中(x_i，y_i)是所述图像 的第i个像素点坐标，f见步骤(3.4.1)，迭代初始值M₀设为3×3的单位矩阵，

步骤(3.4.3)，如果步骤(3.4.2)中所求得的 满足下面两个条件中的任何一个，则认为 和 无效，不再对其进行计算，转到步骤(4)，

a)

b)

其中， 是 的前两行，

步骤(3.4.4)，计算更精确的仿射模型

步骤(3.5)根据邻域2N+1帧图像对所述输出图像 进行平滑处理，取N＝5，

步骤(3.5.1)，求取第j帧高分辨率图像到第i帧高分辨率图像的变换模型 

由步骤(3.1.1)中所求得的 中的前景区域通过步骤(3.4.1)中的变换方法由所述的更精确的仿射模型 得到对应的 中的前景目标，进而得到 的背景区域，用步骤(3.2)中的方法，求取所述第j帧高分辨图像 和第i帧高分辨率图像 之间的变换模型 

步骤(3.5.2)求取平滑模型 

其中，ω_i是高斯权重系数，N＝5， σ＝1.5，δ_i取值为：

步骤(3.5.3)计算当前帧的相对模糊度b_i

其中，p_t为所述第t帧高分辨率图像 中的像素点，dx(·)和dy(·)分别是图像沿着x和y方向上的梯度，

如果b_t＞1.3min{b_t-1，b_t+1}，则认为当前帧为模糊图像，并设定 无效；

步骤(4)图像补全：对所述输出图像中未被高分辨率图像完全覆盖的部分进行图像补全，具体步骤如下：

步骤(4.1)估计高分辨率背景图像 

步骤(4.1.1)如果步骤(3)中所述的 有效，通过步骤(3.4.1)中所述的变换方法由所述的变换模型 变换得到与步骤(3.1.1)所述低分辨率图像 中的背景区域 对应的 中的背景区域，

步骤(4.1.2)对第t帧，用第1，2，…，t+50帧中的高分辨率背景区域来更新当前高分辨率背景模型 对于下一帧的背景模型 如果 有效，则将 的背景区域映射到 上，然后对于重叠区域用0.5的衰减因子进行更新，即对背景区域的像素灰度值进行如下处理： 否则， 

步骤(4.2)对 进行填充：

步骤(4.2.1)利用所述的高分辨率图像 和变换模型 填充图像，如果 有效，则用步骤(3.4.1)中所述的变换方法由所述的变换模型 将所述高分辨率图像 变换到所述输出图像 上，所述输出图像 中重叠的区域即可用 的灰度值进行填充，

步骤(4.2.2)对背景部分，如果所述输出图像 的未填充部分包含背景像素，则直接利用 中对应的有效像素进行填充，

步骤(4.2.3)对前景部分，如果第t帧满足下面三个条件之一时，转到步骤(4.2.3.1)，否则转到到步骤(4.2.4)

a)所述的变换模型 无效

b)所述的高分辨率图像 不包含完整的感兴趣目标 

c)步骤(3.5.3)中判断所述的高分辨率图像 是模糊的图像

步骤(4.2.3.1)建立和更新参考样本队列

参考样本队列最大长度取为60，如果第t帧同时满足下面三个条件之一，则该帧将产生一个参考样本：

a)所述的变换模型 有效；

b)所述的高分辨率图像 包含完整的感兴趣目标；

c)所述的高分辨率图像 不是模糊的图像；

参考样本由两个包含前景区域的图像块构成，分别由只保留前景区域的 和 用 表示，其中 表示第i帧只包含前景目标的低分辨率图像固定大小参考帧，大小为40×40， 表示第i帧只包含前景目标的与 相对应的高分辨率图像的参考帧，大小为200×200，采用先入先出的策略更新参考帧队列，

步骤(4.2.3.2)在所述参考帧队列中查找与当前帧最匹配的参考帧 

对于第t帧，我们只考虑 中完全包含目标的矩形图像区域 用下面的步骤计算参考帧队列中所有的 i＝1，2，...，60与 的相似度：

步骤(4.2.3.2.1)计算 到 的平移变换模型(dx，dy)^T

选取初始值为 中前景目标中心点坐标与 中前景目标中心点的差，用基于迭代的梯度下降优化算法求得平移变换模型(dx，dy)^T，

步骤(4.2.3.2.2)用下面的公式计算相似度：

其中， 是 的前景目标的像素集合， 是 前景目标的像素集合，p是 经过平移变换后其前景目标像素集合与 的交集中的一个像素，Num(p)是交集中像素的个数，如果交集的像素个数小于 像素个数的60％，或者小于 像素个数的60％，则令相似度为0，

如果当前帧t有效，则取本帧为相关参考帧，定义为 即ref_t＝t；否则， 则取队列中与 相似度最大的参考帧为相关参考帧，若最大相似度小于Th_MAD＝exp(-20)，则认为 没有相关参考帧，即 无效，转到步骤

(4.2.3.2.3)；否则 有效，

步骤(4.2.3.2.3)估计当前帧与其参考帧之间的高分辨率图像光流场V^H，由邻近共三帧及其对应的参考帧 i＝t-1，t，t+1进行估计：

步骤(4.2.3.2.3.1)采用基于迭代的梯度下降优化算法求得从 到 的平移变换模型，然后用此模型将 变换到 从而去除了两者之间的整体运动；同理，对 进行同样操作，得到去除整体运动的 对当前帧，即第t帧，令 

步骤(4.2.3.2.3.2)利用调整后的 来估计高分辨率的光流场V^H

用Opencv提供的Lucas-Kanade光流算法分别估计从 到 和 之间的光流场 和 则

步骤(4.2.3.2.4)估计帧内低分辨率图像光流场V^L，同样采用Opencv提供的Lucas-Kanade光流算法估计 与 之间的光流场 将其放大5倍即可得到V^L，

步骤(4.2.3.2.5)如果 有效，估计 与 之间的最终光流场 由下面的优化问题解得：

其中V是图像有效区域，(x，y)是V中的一个像素，u和v分别是u(x，y)和v(x，y)的简写，分别代表 在(x，y)点沿x方向和y方向的分量，(u_H，v_H)代表V^H 在(x，y)处的取值，ω₁(x，y)是权重系数，取为ω₁(x，y)＝exp(-‖[u_H，v_H]‖/10)，(u_L，v_L)代表V^L在(x，y)处的取值，ω₂(x，y)是权重系数，取为ω₂(x，y)＝1，如果V^H有效，则取β＝2，γ＝1，否则，取β＝0，γ＝1，

步骤(4.2.3.2.6)填充输出图像，

用 经过光流场 的变换后采用双线性插值填充输出图像的前景部分，步骤(4.2.4)对还未填充的区域，用低分辨率的图像 放大并用双线性插值得到，步骤(4.3)灰度值调整

用步骤(3.3)中所述的方法调整输出图像中区域R₁和R₄，与R₂灰度值保持一致，其中R₁是所述输出图像 中用步骤(4.2.1)填充的图像区域，R₂是所述输出图像 中用步骤(4.2.2)填充的图像区域，R₃是所述输出图像 中用步骤(4.2.3)填充的图像区域，R₄是所述输出图像 中用步骤(4.2.4)填充的图像区域，

调整R₁，只用R₁与所述高分辨率背景模型 重叠部分的像素计算灰度值映射模型，并只调整这些重叠部分的像素，调整R₄时，亦只用R₄与所述高分辨率背景模型 重叠部分的像素计算灰度值映射模型，但对所有的像素值均进行调整，

步骤(4.4)输出图像空间连续性调整

对于步骤(4.3)中所述的输出图像区域R₁，R₂和R₄作如下处理：先对边界部分用5×5的结构单元进行形态学膨胀，再对膨胀后的边界部分用3×3的均值滤波器进行平滑，步骤(4.3)中所述的输出图像区域R₃部分保持不变。