[发明专利]一种基于图像变形的不规则视频矩形化矫正方法

摘要

本发明涉及一种视频矫正方法，特别涉及一种基于图像变形的视频矩形化矫正方法，属于视频处理领域。本发明首先对所有视频帧进行局部变形；在变形后矩形视频帧上设置网格，再依据坐标映射关系，将网格放置在原不规则视频帧上，对所有帧网格对应坐标取均值，即初始网格；对初始网格做时域空域约束建立稀疏线性方程组，并求解得到校正后的视频各帧网格点；根据每一视频帧矫正前后网格进行双线性插值得到矫正后的视频帧。该方法在已有图像矫正方法的基础上，增加时域约束条件，实现了视频的矩形化矫正。

主权项

一种基于图像变形的不规则视频矩形化矫正方法，其特征在于，包括以下步骤：步骤一、对视频每一帧进行局部变形对于视频中不规则边界的每一帧，利用seam carving算法，通过不断插入长短不一的seam的方式，填充缺失像素，得到规则矩形边界的视频帧，插入的同时记录插入后每个像素点所在原图的位置坐标；步骤二、设置网格，并将网格变形回原图对步骤一中得到的每一规则视频帧，将其均匀划分为若干矩形区域，并获得网格角点的坐标，然后利用步骤一中记录的位置信息，获得每个网格角点所在原图的位置坐标，即可将每帧网格变形回原图；步骤三、网格归一化对得到的所有覆盖视频帧不规则有效区域的网格，对应位置坐标取均值，得到归一化网格,即是每帧初始网格；步骤四、计算能量函数中的保形项E_s为了获得与原视频帧尽可能相近的图像，尽可能减少其形状失真，因此在原视频帧网格和矫正后的视频帧对应网格之间应保持一个相似变换，保形能量函数定义为：$E_s\left(V_q^t\right)=\frac{1}{N^t}\underset{q}{\mathrm{\Σ}}{\left|\right|({A_q}^t{\left({\left({A_q}^t\right)}^T{A_q}^t\right)}^{-1}{\left({A_q}^t\right)}^T-I)V_q^t\left|\right|}^2$${A_q}^t=\left[\begin{array}{cccc}{{\hat{x}}_0}^t& -{{\hat{y}}_0}^t& 1& 0\\ {{\hat{y}}_0}^t& {{\hat{x}}_0}^t& 0& 1\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ {{\hat{x}}_3}^t& -{{\hat{y}}_3}^t& 1& 0\\ {{\hat{y}}_3}^t& {{\hat{x}}_3}^t& 0& 1\end{array}\right],{V_q}^t=\left[\begin{array}{c}{x_0}^t\\ {y_0}^t\\ .\\ .\\ .\\ {x_3}^t\\ {y_3}^t\end{array}\right]$其中上标t为视频帧索引，下标q是每帧网格的方格索引，N是网格的方格数，A_q为8*4的矩阵，V_q为8*1的矩阵，为网格变形前一个方格四个顶点对应四对坐标，而(x₀,y₀),…,(x₃,y₃)为相应的变形后对应四对坐标；步骤五、计算能量函数中的直线保持项E_l首先对视频中每帧进行预处理，过程为先对每帧进行直线检测，并对检测得到的所有直线依据网格对其进行分割，使得每个子线段只在一个方格中，然后对所有线段按其倾斜角分为m组，使得同组的线段倾斜角基本相同；预处理后为减少直线的失真，保持视频矫正前后直线的平行性和共线性，使得倾斜角相似(同组)的线段矫正过程中旋转角尽可能一致，其能量函数定义为：$E_l(V^t,\{{{\mathrm{\θ}}_m}^t\left\}\right)=\frac{1}{{N_L}^t}\underset{j}{\mathrm{\Σ}}{\left|\right|{C_j}^t\left({{\mathrm{\θ}}_{m\left(j\right)}}^t\right){e_{q\left(j\right)}}^t\left|\right|}^2$$C=R\hat{e}{\left({\hat{e}}^T\hat{e}\right)}^{-1}{\hat{e}}^T{R}^T-I,R=\left[\begin{array}{cc}\cos {\mathrm{\θ}}_m& -\sin {\mathrm{\θ}}_m\\ \mathrm{sim}{\mathrm{\θ}}_m& \cos {\mathrm{\θ}}_m\end{array}\right]$其中，R是旋转矩阵，{θ_m^t}是m组线段的旋转角集合，是方格中线段对应向量，表示变形前线段，是V_q的线性函数，而e表示变形后线段，N_L是线段总数，j是线段索引，q(j)表示线段所在方格索引，m(j)表示线段所在组号；步骤六、计算能量函数中的边界约束项E_b为使得变形后视频每帧边界严格为矩形，约束其变形后网格四个边界上的点在图像边界上，其能量函数定义如下：$E_b\left(V^t\right)=\underset{v_i\∈L}{\mathrm{\Σ}}{x}_i^2+\underset{v_i\∈R}{\mathrm{\Σ}}{(x_i-w)}^2+\underset{v_i\∈T}{\mathrm{\Σ}}{y}_i^2+\underset{v_i\∈B}{\mathrm{\Σ}}{(y_i-h)}^2$其中L/R/T/B分别表示左、右、上、下；步骤七、计算能量函数中的特征点位移约束项E_p首先对当前帧的前一帧提取特征点，并利用光流法得到当前帧中特征点的对应匹配点位置；然后为保持变形后视频的时域上的连续性，减少抖动等失真现象，保持特征点在变形前后的相对位移尽可能不变，该约束项定义为：$E_p=\frac{1}{N_p}\underset{P}{\mathrm{\Σ}}{\left|\right|(P_t^{\′}-P_{t-1}^{\′})-(P_t-P_{t-1})\left|\right|}^2$其中N_p是检测得到特征点的个数，P_t分别表示第t帧变形前后特征点坐标，P′_t‑1,P_t‑1则分别表示第t‑1帧的相应点；步骤八、计算能量函数中的网格点位置约束项E_v为增强时域连续性约束效果，进一步减少不连续的失真，相邻帧对应网格点变形后坐标应保持时域上连续，即尽可能一致，该约束项定义为：$E_v=\underset{v}{\mathrm{\Σ}}{\left|\right|{\stackrel{\′}{v}}_t-v_{t-1}^{\′}\left|\right|}^2$其中，v′_t‑1分别表示变形后第t帧和第t‑1帧的网格位置坐标；步骤九、能量函数优化求解将上述约束条件分别赋予权重，建立用于求解矫正后网格角点位置的能量函数,形式化表示为：E(V^t，{θ_m^t})＝w₁E_s+w₂E_l+w₃E_p+w₄E_v+w₅E_b由于函数中每帧计算只需前一帧的相关信息，故逐帧使用迭代求解稀疏线性方程组的方法求解该能量函数最小化问题即可，得到矫正后的网格点坐标V^t；步骤十、图像变形对每帧根据矫正前的网格和矫正后的网格进行插值，即可获得矫正后的每个视频帧。