[发明专利]一种基于视差追踪的视频关键帧提取方法

权利要求书

1.一种基于视差追踪的视频关键帧提取方法，其特征在于，该方法包括：

1)基于影像模糊度评价的关键帧粗提取；

2)基于影像视差分析的关键帧精提取；

其中，所述的基于影像模糊度评价的关键帧粗提取包含以下几个步骤：

1.1)采用的模糊度评价方式为基于梯度的Tenengrad评价函数：首先，函数采用Sobel算子提取出垂直和水平方向的梯度值，利用式(1)计算出图像在点(x,y)的梯度S(x,y)；

其中，G_x、G_y表示Sobel算子横向和纵向的卷积核，I_(x,y)表示以点(x,y)为中心的3*3像元灰度值矩阵；计算经卷积处理后的影像的平均灰度值，记为T_en，如式(2)；T_en值越大，代表图像越清晰；

通过对全体视频帧进行抽样模糊度评价，计算出整体平均模糊度V_s，V_s的大小反应视频帧的整体清晰度质量，视频帧越清晰，三维模型重建所限制的相邻视频帧最大基线长度越长，所需要的视频帧数量越少；根据V_s的大小确定粗提取的视频帧截取频率f_s，f_s表示每秒截取的视频帧数量，V_s越大f_s越小；以f_s作为截取频率对原始视频进行粗提取，更为合理地剔除由视频自身频率过高所造成的重复影像；

1.2)根据视频平均模糊度V_s的大小设定影像模糊度分级阈值V_min和V_mid，V_minV_midV_s，其中模糊度低于V_min的被视为严重模糊影像，因去模糊处理对其效果不佳而直接删除，V_min至V_mid的部分后续通过去模糊处理进行优化；

其中，基于影像视差分析的关键帧精提取，包含以下几个步骤：

2.1)点特征提取与匹配：在邻域一致性分析的基础上，通过格网划分，将对点分析改为对区域分析，实现实时的特征点高精度匹配；针对特征匹配，采用由粗到精的匹配策略；

粗匹配阶段，采用ORB快速特征点提取算法对每张影像提取特征点，然后通过Brute-Force匹配算法进行匹配，获取点匹配信息服务于后续的邻域一致性分析工作当中；

精匹配基于运动平滑性原理，即真匹配具有邻域支持度，通过对视频帧进行规则格网划分，构建特征与邻域空间特征邻接关系，统计邻域特征数量与梯度方向信息，从而构建图像邻域一致性约束，剔除错匹配；

2.2)去静止冗余帧：首先以候选帧集的第一帧影像P作为已知关键帧T_a，将下一帧设为侯选关键帧T_b，利用式(3)计算两帧之间的平均视差L；

其中，n为点特征匹配数，(x_ai,y_ai)、(x_bi,y_bi)分别为T_a和T_b对应的特征点坐标；

设置视差阈值L_min限制相邻关键帧基线过短的情况，比较L与L_min的大小，若L＞L_min，则认定T_b为关键帧，将其设为新的已知关键帧T_a，然后进行下一轮的视差分析；若L＜L_min，则剔除该候选帧，将下一帧设为新的T_b，继续视差比较，直到满足条件的关键帧出现；

2.3)去旋转、抬升和下降冗余帧：分析镜头抬升和旋转时的匹配结果，表明可以通过影像在水平和垂直方向上的平均位移X_m和Y_m来区分镜头的真实运动状态；镜头抬升或下降时，Y_m＞X_m，X_m≈0；旋转时，影像左右两侧的特征点运动趋势呈对称现象，通过图像分区分析能判断出旋转视频帧；

通过分析镜头在整个地下管道中的行进状态可知，虽然旋转部分难以单独判断，但旋转前后的镜头持续抬升和下降部分较为稳定，可通过确定这两部分的视频帧位置来间接判断旋转部分的冗余帧，将抬升和下降之间的所有视频帧同一剔除即可；

为排除镜头前进过程中零散抬升和下降帧的干扰，将判定条件设为连续m帧以上满足镜头抬升和下降；为排除旋转部分中穿插的持续抬升和下降帧，需要对抬升帧之前和下降帧之后的k帧进行约束，其中，m和k为常数，取值为5；

2.4)失焦影像去模糊优化：采用维纳滤波法对失焦影像进行去模糊处理，首先定义一个系统，如式(6)所示：

y(t)＝h(t)*x(t)+n(t)           (6)

其中，y(t)是最终的成像结果，即初始照片，h(t)是相机线性不变的脉冲响应系统，x(t)是指在t时刻的信号输入，n(t)指加性噪声，与输入信号无关；目标是计算出卷积函数g(t)，如式(7)所示，使得是x(t)的最小均方差估计，