[发明专利]一种基于时序网格流叠加的实时视频稳像方法

权利要求书

1.一种基于时序网格流叠加的实时视频稳像方法，包括以下步骤：

(1)获取一段视频，对每个视频帧进行下采样到固定尺寸；

(2)以视频中的第一帧作为初始参考帧，提取该初始参考帧的特征点，命名为参考帧特征点，并将参考帧特征点保存在全局变量中；

(3)提取视频帧的特征点，命名为视频帧特征点，将每个视频帧特征点与所有参考帧特征点进行匹配，获得该视频帧特征点的最佳匹配特征点和次佳匹配特征点，根据最佳匹配特征点与次佳匹配特征点之间的距离差异，对该视频帧特征点进行剔除或保留处理，并根据保留的视频帧特征点与对应的最佳匹配特征点之间的对应关系，构建全局单应性矩阵；

步骤(3)中，采用Brute-force算法，利用公式(1)获得视频帧特征点的最佳匹配特征点和次佳匹配特征点；

Knn_distance1Knn_distance2·Ratio (1)

其中，knn_distance1表示最佳匹配特征点与视频帧特征点的距离，knn_distance2表示次佳匹配特征点与视频帧特征点的距离，Ratio为比例

当knn_distance1比knn_distance2优势大时，即公式(1)成立，则认为这个匹配是值得信赖的，保留该视频帧特征点，反之舍弃该视频帧特征点；

(4)根据全局单应性矩阵计算获得每个视频帧特征点的映射点，与视频帧特征点对应的最佳匹配特征点与映射点之间的欧式距离，当该欧式距离大于距离阈值时，剔除该视频帧特征点，具体过程为：

(4-1)将全局单应性矩阵分成2*2的子单应性矩阵；

(4-2)将视频帧分成2*2的子区域；

(4-3)针对包含4个及以上视频帧特征点的子区域，利用与该子区域对应的子单应性矩阵计算该子区域内的视频帧特征点的映射点，然后，计算视频帧特征点对应的最佳匹配特征点与映射点之间的欧式距离，当该欧式距离大于距离阈值时，剔除该视频帧特征点；

(4-4)针对包含4个以下视频帧特征点的子区域，利用全局单应性矩阵计算该子区域内的视频帧特征点的映射点，然后，计算视频帧特征点对应的最佳匹配特征点与映射点之间的欧式距离，当该欧式距离大于距离阈值时，剔除该视频帧特征点；

(5)将a*a的网格分布于视频帧中，利用步骤(4)处理后获得的剩余视频帧特征点计算网格顶点的位移矢量，即获得视频帧对应的网格顶点的运动矢量，具体过程为：

(5-1)将a*a的网格分布于视频帧中，获得多个网格顶点；

(5-2)针对每个网格顶点，采用第一中值滤波器对以网格顶点为中心的3*3区域内的所有视频帧特征点的位移矢量进行处理，分别取3*3区域内的所有视频帧特征点的横纵坐标的中值作为该网格顶点的位移矢量；

(5-3)当网格顶点所在3*3区域内的视频帧特征点的个数小于特征点阈值时，采用第二中值滤波器对以网格顶点为中心的3*3区域内的所有网格顶点的位移矢量进行处理，分别取3*3区域内的所有网格顶点的横纵坐标的中值作为中心网格顶点的位移矢量；

(6)以m帧作为一个周期，对于第1个周期内的每个视频帧，利用步骤(3)～步骤(5)获得第1个周期内的每个视频帧对应的网格顶点的运动矢量；对于第m帧以后的第k个周期内的每个视频帧，以第(k-1)*m帧作为当前参考帧，第(k-1)*m帧的特征点为参考帧特征点，利用步骤(3)～步骤(5)获得第k个周期内的每个视频帧对应的网格顶点的初始运动矢量，将该初始运动矢量与当前参考帧对应的网格顶点的运动矢量之和，作为第k个周期内的每个视频帧对应的网格顶点的运动矢量；

在获得整个视频帧序列的网格顶点的运动矢量后，对网格顶点的空间运动场序列进行平滑处理，针对网格顶点的空间运动场序列，判断同一位置上时域连续的3个网格顶点的单调性，对于不满足局部单调性的网格顶点，以前后视频帧上同一位置的网格顶点的运动矢量的中值作为该不满足局部单调性的网格顶点的运动矢量；

(7)针对每个视频帧，根据视频帧对应的网格顶点的运动矢量，计算每个像素的运动矢量，根据像素的运动矢量对该像素进行调整，以实现视频帧相对于初始参考帧的稳像。

2.如权利要求1所述的基于时序网格流叠加的实时视频稳像方法，其特征在于，步骤(7)中，采用插值算法对网格顶点的运动矢量进行处理，以获得视频帧的每个像素的运动矢量。