[发明专利]一种突变和渐变镜头切换识别方法及系统

权利要求书

1.一种突变和渐变镜头切换识别方法，其方法步骤如下：

S1、准备训练数据，获取神经网络分类模型，将镜头切换识别问题转换为连续视频帧的分类问题；

S2、利用S1中训练好的神经网络分类模型，识别出候选镜头切换序列，包括以下步骤：

①、对视频流进行解码，得到总长度为L的视频序列；

②、使用长度为N、步长为S的滑动窗口遍历所述总长度为L的视频序列，每次取出由N幅图像组成的片段C；

③、将所得片段C输入到训练好的神经网络分类模型进行分类，获取所得片段C的类别；

S3、获取搜索区间，包括以下步骤：

对于某个片段C，如果输出类别是突变镜头切换，则定义搜索区间为Search_Clip＝C；如果输出类别是渐变镜头切换，继续向后搜索直到第一个非渐变镜头切换的片段CE，则定义搜索区间Search_Clip为C-CE之间的片段；

S4、特征重定位，得到准确切换位置。

2.根据权利要求1所述的突变和渐变镜头切换识别方法，其特征在于：S1中，准备训练数据包括如下步骤：

步骤一：正样本，正样本为以镜头切换位置为中心同时向前向后总共采样N帧连续图像，镜头切换类型包含突变以及渐变中的淡入淡出、棋盘格、缩放、划变和锯齿的镜头切换；

步骤二：负样本，负样本为在不存在镜头切换的位置随机采样N帧连续图像序列。

3.根据权利要求2所述的突变和渐变镜头切换识别方法，其特征在于：采用视频分类网络对连续帧训练模型进行分类，这里的视频分类网络是3DCNN或者双流网络。

4.根据权利要求1至3任一所述的突变和渐变镜头切换识别方法，其特征在于：特征重定位步骤如下：

①、得到搜索区间Search_Clip；

②、对Search_Clip中的所有图像提取特征，计算帧间的特征变化，变化量最大的位置为镜头切换的准确位置。

5.根据权利要求4所述的突变和渐变镜头切换识别方法，其特征在于：图像提取特征方法包括以下一种或者多种：

①、频域特征，对图像做DCT变换，然后累加DCT低频区域的差值作为特征；

②、空间域特征，利用训练数据集提取sift特征进行聚类构造词典Dict；

③、训练神经网络提取图片特征。

6.一种突变和渐变镜头切换识别系统，用于执行权利要求1至5任意一项所述的突变和渐变镜头切换识别方法，其特征在于：包括以下模块：

模块一：图像序列提取模块，图像序列提取模块用于从视频源获取连续的图像片段；

模块二：候选序列识别模块，候选序列识别模块使用训练好的神经网络分类模型，对图像序列提取模块得到的图像片段进行分类，区分是连续镜头、渐变镜头或者突变镜头；

模块三：搜索区间获取模块，搜索区间获取模块对从候选序列识别模块中得到的渐变镜头和突变镜头计算搜索区间，对突变镜头搜索区间为本片段，对渐变镜头则向后搜索直到第一个非渐变镜头位置；

模块四：特征重定位模块，特征重定位模块包括特征提取子模块和距离度量子模块，特征提取子模块对搜索区间中的图像提取频域特征和/或空间域特征，距离度量子模块对特征提取子模块得到的特征选用合适的度量函数计算距离，得到镜头切换的准确位置。