[发明专利]一种基于图像变形的不规则视频矩形化矫正方法

权利要求书

1.一种基于图像变形的不规则视频矩形化矫正方法，其特征在于，包括以下步骤：

步骤一、对视频每一帧进行局部变形

对于视频中不规则边界的每一帧，利用seam carving算法，通过不断插入长短不一的seam的方式，填充缺失像素，得到规则矩形边界的视频帧，插入的同时记录插入后每个像素点所在原图的位置坐标；

步骤二、设置网格，并将网格变形回原图

对步骤一中得到的每一规则视频帧，将其均匀划分为若干矩形区域，并获得网格角点的坐标，然后利用步骤一中记录的位置信息，获得每个网格角点所在原图的位置坐标，即可将每帧网格变形回原图；

步骤三、网格归一化

对得到的所有覆盖视频帧不规则有效区域的网格，对应位置坐标取均值，得到归一化网格,即是每帧初始网格；

步骤四、计算能量函数中的保形项E_s

为了获得与原视频帧尽可能相近的图像，尽可能减少其形状失真，因此在原视频帧网格和矫正后的视频帧对应网格之间应保持一个相似变换，保形能量函数定义为：

Es(Vqt)=1NtΣq||(Aqt((Aqt)TAqt)-1(Aqt)T-I)Vqt||2]]>

Aqt=x^0t-y^0t10y^0tx^0t01............x^3t-y^3t10y^3tx^3t01,Vqt=x0ty0t...x3ty3t]]>

其中上标t为视频帧索引，下标q是每帧网格的方格索引，N是网格的方格数，A_q为8*4的矩阵，V_q为8*1的矩阵，为网格变形前一个方格四个顶点对应四对坐标，而(x₀,y₀),…,(x₃,y₃)为相应的变形后对应四对坐标；

步骤五、计算能量函数中的直线保持项E_l

首先对视频中每帧进行预处理，过程为先对每帧进行直线检测，并对检测得到的所有直线依据网格对其进行分割，使得每个子线段只在一个方格中，然后对所有线段按其倾斜角分为m组，使得同组的线段倾斜角基本相同；预处理后为减少直线的失真，保持视频矫正前后直线的平行性和共线性，使得倾斜角相似(同组)的线段矫正过程中旋转角尽可能一致，其能量函数定义为：

El(Vt,{θmt})=1NLtΣj||Cjt(θm(j)t)eq(j)t||2]]>

C=Re^(e^Te^)-1e^TRT-I,R=cosθm-sinθmsimθmcosθm]]>

其中，R是旋转矩阵，{θ_m^t}是m组线段的旋转角集合，是方格中线段对应向量，表示变形前线段，是V_q的线性函数，而e表示变形后线段，N_L是线段总数，j是线段索引，q(j)表示线段所在方格索引，m(j)表示线段所在组号；

步骤六、计算能量函数中的边界约束项E_b

为使得变形后视频每帧边界严格为矩形，约束其变形后网格四个边界上的点在图像边界上，其能量函数定义如下：

Eb(Vt)=Σvi∈Lxi2+Σvi∈R(xi-w)2+Σvi∈Tyi2+Σvi∈B(yi-h)2]]>

其中L/R/T/B分别表示左、右、上、下；

步骤七、计算能量函数中的特征点位移约束项E_p

首先对当前帧的前一帧提取特征点，并利用光流法得到当前帧中特征点的对应匹配点位置；然后为保持变形后视频的时域上的连续性，减少抖动等失真现象，保持特征点在变形前后的相对位移尽可能不变，该约束项定义为：

Ep=1NpΣP||(Pt′-Pt-1′)-(Pt-Pt-1)||2]]>

其中N_p是检测得到特征点的个数，P_t分别表示第t帧变形前后特征点坐标，P′_t-1,P_t-1则分别表示第t-1帧的相应点；

步骤八、计算能量函数中的网格点位置约束项E_v

为增强时域连续性约束效果，进一步减少不连续的失真，相邻帧对应网格点变形后坐标应保持时域上连续，即尽可能一致，该约束项定义为：

Ev=Σv||v′t-vt-1′||2]]>

其中，v′_t-1分别表示变形后第t帧和第t-1帧的网格位置坐标；

步骤九、能量函数优化求解

将上述约束条件分别赋予权重，建立用于求解矫正后网格角点位置的能量函数,形式化表示为：

E(V^t，{θ_m^t})＝w₁E_s+w₂E_l+w₃E_p+w₄E_v+w₅E_b

由于函数中每帧计算只需前一帧的相关信息，故逐帧使用迭代求解稀疏线性方程组的方法求解该能量函数最小化问题即可，得到矫正后的网格点坐标V^t；

步骤十、图像变形

对每帧根据矫正前的网格和矫正后的网格进行插值，即可获得矫正后的每个视频帧。