[发明专利]基于近似稠密光流法和基准帧更新的视频消旋方法及装置

权利要求书

1.一种基于近似稠密光流法和基准帧更新的视频消旋方法，其特征在于，包括以下步骤：

读取视频或图像序列的第一帧图像设为初始帧，并将其作为运动估计的第一个基准帧；

依次读取后面的图像帧，求解其到初始帧的运动矢量，用仿射变换矩阵来表示；

利用求解出的仿射变换矩阵对初始帧之后的每一帧图像做仿射变换得到消旋后的图像序列作为视频消旋的输出。

2.如权利要求1所述的基于近似稠密光流法和基准帧更新的视频消旋方法，其特征在于，所述依次读取后面的图像帧，求解其到初始帧的运动矢量，用仿射变换矩阵来表示具体包括：

读取到新的一帧图像时，首先根据其帧序号判断是否需要更新基准帧，若当前帧序号为基准帧更新率的整数倍则把当前帧作为新的基准帧，记录每个基准帧到初始帧的仿射变换矩阵；

对于第二个基准帧之前的非基准帧，直接计算该帧到初始帧的仿射变换矩阵；

对于第二个基准帧之后的非基准帧，首先计算该帧到当前基准帧的仿射变换矩阵，然后将该矩阵与当前基准帧到初始帧的仿射变换矩阵相乘得到当前帧到初始帧的仿射变换矩阵。

3.如权利要求2所述的基于近似稠密光流法和基准帧更新的视频消旋方法，其特征在于，求解当前帧到基准帧的仿射变换矩阵的具体方法如下：

在基准帧上进行均匀采点，通过LK光流法估计出这些点在当前帧上的位置，得到匹配点集；

对匹配点集进行筛选，去除误匹配点；

利用筛选后的匹配点集求解仿射变换矩阵。

4.如权利要求3所述的基于近似稠密光流法和基准帧更新的视频消旋方法，其特征在于，所述对匹配点集进行筛选，去除误匹配点具体包括：

第一步，从匹配点集中剔除掉光流估计中跟踪丢失的点和误差大于所设阈值的点；

第二步，通过RANSAC算法对匹配点集进行迭代计算，去除误匹配点，将匹配点集中光流跟踪的误匹配点及全局运动估计所不需要的非背景点作为RANSAC算法的“局外点”，RANSAC算法通过反复选择数据中的一组随机子集来达成目标，去除局外点，保留正确匹配点。

5.如权利要求3所述的基于近似稠密光流法和基准帧更新的视频消旋方法，其特征在于，所述利用筛选后的匹配点集求解仿射变换矩阵是通过最小二乘法的矩阵形式完成的，具体包括：

设RANSAC筛选后得到的点集匹配对数为m，用m*3大小的矩阵A表示由光流法跟踪得到的当前帧中所有点的齐次坐标，用m*2大小的矩阵B表示基准帧中的点，则根据最小二乘法求解当前帧到基准帧仿射变换矩阵的公式为：

M＝(A^TA^-1)A^TB

其中，M为当前帧到基准帧的仿射变换矩阵。

6.一种基于近似稠密光流法和基准帧更新的视频消旋装置，其特征在于，包括：

初始化模块，用于读取视频或图像序列的第一帧图像设为初始帧，并将其作为运动估计的第一个基准帧；

仿射变换矩阵计算模块，用于依次读取后面的图像帧，求解其到初始帧的运动矢量，用仿射变换矩阵来表示；

图像仿射变换模块，用于利用求解出的仿射变换矩阵对初始帧之后的每一帧图像做仿射变换得到消旋后的图像序列作为视频消旋的输出。

7.如权利要求6所述的基于近似稠密光流法和基准帧更新的视频消旋装置，其特征在于，所述仿射变换矩阵计算模块具体用于：

读取到新的一帧图像时，首先根据其帧序号判断是否需要更新基准帧，若当前帧序号为基准帧更新率的整数倍则把当前帧作为新的基准帧，记录每个基准帧到初始帧的仿射变换矩阵；

对于第二个基准帧之前的非基准帧，直接计算该帧到初始帧的仿射变换矩阵；

对于第二个基准帧之后的非基准帧，首先计算该帧到当前基准帧的仿射变换矩阵，然后将该矩阵与当前基准帧到初始帧的仿射变换矩阵相乘得到当前帧到初始帧的仿射变换矩阵。