[发明专利]级联手工特征与深度特征的视频关键帧检测方法

权利要求书

1.一种级联手工特征和深度特征的视频关键帧检测方法，其特征在于包括以下步骤：

(1)基于颜色直方图特征的镜头分割；通过提取视频每一帧的颜色直方图特征，通过比较相邻两帧的特征值的距离，当此距离大于设定的阈值时，则判断此时发生了镜头跳变，保存每一镜头的最后一帧；

(2)候选关键帧筛选；在利用颜色直方图特征进行镜头分割后，利用该步骤的候选关键帧筛选过程去除大量的负样本，减少后续步骤的输入；

(3)利用神经网络对筛选过后的图片进行进一步的细分类，得到最终视频帧的结果。

2.根据权利要求1所述的方法，其特征在于步骤(1)中，基于颜色直方图特征的镜头分割的具体方法为：

颜色直方图特征提取颜色直方图即R、G、B三个颜色通道上各种颜色出现的概率；每个颜色通道上均是256维的向量，将每个颜色通道上特征维度量化成16维的向量；

距离测量采用欧氏距离作为帧间距离测量方法；当此距离大于设定的阈值0.2时，则判断此时发生了镜头跳变，保存每一镜头的最后一帧。

3.根据权利要求1所述的方法，其特征在于步骤(2)中，利用镜头分割步骤中提取的颜色直方图特征，减小距离阈值为0.1，在分割的结果中通过随机选择4张满足该初始阈值的图片；接下来把阈值增大为0.2，遍历剩余图片与4张所选图片的特征距离，满足阈值的则保留；筛选出部分负样本。

4.根据权利要求1所述的方法，其特征在于步骤(3)中，设计了一个包含4个卷积层、4个池化层、3个全连接层的神经网络，为了防止过拟合的问题，添加了正则化损失，在前两个全连接层后都使用了dropout层，在训练过程中随机去除网络节点，在测试时保留全部节点；

卷积层1：卷积核5*5*32，输入100*100*3，输出100*100*32

池化层1：输入100*100*32，输出50*50*32

卷积层2：卷积核5*5*64，输入50*50*32，输出50*50*64

池化层2：输入50*50*64，输出25*25*64

卷积层3：卷积核3*3*128，输入25*25*64，输出25*25*128

池化层3：输入25*25*128，输出12*12*128

卷积层3：卷积核3*3*128，输入12*12*128，输出12*12*128

池化层3：输入12*12*128，输出6*6*128

最终通过神经网络的分类，得到视频的关键帧。