[发明专利]一种基于局部及整体运动差异补偿的视频稳定方法

摘要

一种基于局部及整体运动差异补偿的视频稳定方法，包括以下步骤：1)使用光流法获得相邻视频帧中特征点的运动轨迹，并将视频帧网格化，根据内容保存约束和相似不变约束，计算出每个网格以及整体视频帧的相机路径；2)计算整体相机路径与网格相机路径之间的补偿矩阵，并根据路径平滑和重叠的约束，计算一条优化的整体相机路径；3)根据优化的整体相机路径与网格相机路径之间的补偿矩阵，计算出优化的网格相机路径；4)根据优化前后的网格相机路径，求出每个网格的变形矩阵，并对网格进行变形从而获得稳定的视频帧。与已有方法相比，本方法用补偿矩阵将需要优化的路径数量从网格数减少到了一条整体路径，减少了计算时间，提高了计算效率。

主权项

1.一种基于局部及整体运动差异补偿的视频稳定方法，包括以下步骤：步骤一、相机路径建立模块计算视频流的特征点轨迹，具体为：在视频流的一个视频帧中提取特征点，使用光流法计算下一帧中特征点的位置，进而得到所有特征点在视频中的运动轨迹，即特征点轨迹；其中，所述的特征点轨迹是指相邻视频帧中的特征点，分别记为p和两个特征点共同位于一条特征轨迹上；所述的视频帧来源于包含有抖动、旋转和缩放的视频，视频帧的数量记为N，其范围为100到800；所述的光流法计算特征点的位置，具体为：首先，在第t帧中检测角点并计算它们在第t帧中的位置；然后，根据视频流中的像素强度数据的时域变化和相关性来确定像素位置的“运动”；最后，根据角点在第t帧中的位置和像素的移动确定角点在第t+1帧中的最佳位置；其中，t的取值范围为1到N；步骤二、相机路径建立模块将步骤一的视频帧网格化，具体包括：步骤2.1将视频流的第t帧帧划分为M个大小一致的长方形区域，每个长方形区域为个单个网格；其中，M范围为整数D的平方，整数D的取值范围是2到16；所述的单个网格形式化表示为公式(1)：公式(1)中p表示特征点，V_p表示特征点p所在的网格，代表特征点p所在网格的角点，一个网格是指划分此视频帧中的一个小长方形，由长方形区域的四个顶点和四条边组成；步骤2.2将步骤2.1输出的网格化视频帧进一步变形，得出公式(2)的变形网格形式化表示：其中，是一个二维坐标点，表示网格形式化后的角点，上标i的取值为1到4；步骤三、相机路径建立模块计算用于求解相机路径及其能量方程的内容保持项，具体包含以下步骤：步骤3.1、相机路径建立模块分别计算网格化视频帧中一条特征点轨迹在相邻视频帧中的特征点；其中，所述的相邻视频帧中的特征点，记为p和其中，特征点p落在第t帧的网格V_p上，特征点落在第t+1帧的网格上；V_p和在这两相邻帧上的位置相同，并且，表示在第t+1帧中网格变形后的结果；步骤3.2、相机路径建立模块计算步骤3.1中特征点p的双线性插值表示；其中，所述的双线性插值表示基于网格Vp四个角点产生，根据如下公式(3)计算：p＝Vpωp；   (3)其中，为第i角点的双线性插值权重，i的取值为1到4；步骤3.3、相机路径建立模块计算内容保持项；其中，内容保持项记为Ed；由公式(4)算出：其中，∑_条件1(计算1)是求和符号，表示对所有满足“条件1”的项执行“计算1”，并将“计算1”的结果相加；表示的二阶范数：的平方；是第t+1帧变形后所有角点的集合；步骤四、相机路径建立模块计算用于求解相机路径能量方程的保形项；其中，所述的保形项，记为Es；对于保形项的计算，本系统采用公式(5)来完成：其中，是第t+1帧变形后在一个三角形上的网格角点,R₉₀是旋转矩阵，s是一个已知的标量，其值为：s＝||v‑v1||/||v‑v0||；v，v1，v0是在视频帧变形前对应的网格角点，v，v1，v0都是已知量；步骤五、相机路径建立模块建立求解相机路径的能量方程，具体为：结合公式(4)的内容保持项和公式(5)的保形项赋予权重，建立用于求解相机路径的能量方程,其形式化表示为公式(6)所示：其中，α为权重系数，用来控制保形项所占的分量，其变化范围为0.3到3；用稀疏线性系统求解器来求解该能量方程，得到变形后的网格角点集合步骤六、相机路径建立模块计算视频流的局部相机路径，具体为：步骤6.1、相机路径建立模块用V_j和作为输入，调用OpenCV库里的findHomography函数求解网格j在第t+1帧处的局部单应矩阵F_j(t+1)；其中，V_j,分别表示第t+1帧上第j个网格变形前后的四个网格角点；步骤6.2、重复步骤6.1 N次，得到网格j在视频流上的所有局部单应矩阵；步骤6.3、计算网格j在t+1帧处的相机路径；其中，网格j在t+1帧处的相机路径记为Cj(t+1)；由公式(7)算出：其中，j的取值范围是1到M；步骤6.4、重复步骤6.3N次，计算网格j在所有帧上的相机位置；步骤6.5、重复步骤6.1到6.4M次，计算所有网格在所有帧上的相机位置；步骤七、相机路径建立模块计算视频流的整体相机路径，具体为：步骤7.1、相机路径建立模块用步骤五的作为输入，调用OpenCV库里的findHomography函数，求解第t+1帧对应的整体单应矩阵F(t+1)；步骤7.2、重复步骤7.1N次，得到所有视频帧的整体单应矩阵；步骤7.3、计算第t+1帧视频的整体相机路径；其中，第t+1帧处的整体相机路径记为C(t+1)；由公式(8)算出：步骤7.4、重复步骤7.3N次，计算所有N个视频帧的整体相机路径；步骤八、相机路径平滑模块计算整体相机路径到单个网格相机路径的补偿矩阵，具体为：在第t+1帧中，整体相机路径到第j网格相机路径的补偿矩阵记为Hj(t+1)，即步骤七的C(t+1)和步骤六的Cj(t+1)的补偿矩阵；其中，Hj(t+1)由公式(9)算出：其中，F_j(t+1)表示网格j在第t+1帧的单应矩阵，F(t+1)表示第t+1帧的整体单应矩阵，F(t+1)'是F(t+1)的逆矩阵；表示F(0)到F(t)的连乘，即：步骤九、相机路径平滑模块建立优化整体相机路径的能量方程，具体为：对于整体相机路径的优化，使用公式(10)来计算：其中，f的取值范围是2到N，C＝{C(f)}表示初始整体相机路径，P＝{P(f)}表示优化后整体相机路径；λf是这两个能量项的一个平衡参数，其取值范围为0.5到5；Ωf表示与第f帧相邻的视频帧的集合；ωf,r(C)是一个在场景变换或镜头旋转情况下保存运动不连续性的权重；采用雅克比迭代法求解公式(10)的能量方程；步骤十、相机路径平滑模块计算网格的优化相机路径，具体为：设Pj(t+1)表示网格j在t+1帧处优化后的相机路径，用公式(11)计算：Pj(t+1)＝P(t+1)*Hj(t+1)   (11)其中，P(t+1)是优化的整体相机路径在第t+1帧处的相机路径，Hj(t+1)表示整体相机路径在t+1帧处的相机路径和网格j在t+1帧处的相机路径之间的补偿矩阵；步骤十一、图像变形模块变形图像，具体如下：步骤11.1、计算第t+1帧第j网格的变形矩阵；其中，第t+1帧第j网格的变形矩阵记为Bj(t+1)，由公式(11)算出：Bj(t+1)＝Cj(t+1)'*Pj(t+1)   (12)Cj(t+1)'是Cj(t+1)的逆矩阵；步骤11.2、图像变形模块用得到的变形矩阵Bj(t+1)计算第t+1帧第j个网格稳定后的网格角点坐标，然后用opengl纹理贴图技术完成该网格图像的变形，即用该网格稳定前的四个角点坐标作为纹理坐标，同时按比例缩小该网格稳定后的四个角点坐标作为opengl坐标；步骤11.3、重复步骤11.1到11.2M次，完成第t+1帧所有网格图像的纹理贴图，得到第t+1帧的稳定视频帧；步骤11.4、重复步骤11.1到11.3N次，得到所有帧的稳定视频帧；步骤11.5、图像变形模块把步骤11.4输出的所有稳定视频帧写入到一个avi格式的视频文件中，得到稳定视频流。