[发明专利]一种基于CNN融合时空显著信息的视频识别分类方法

权利要求书

1.一种基于CNN融合时空显著信息的视频识别分类方法，其特征在于，该方法包括以下步骤：

(1)对待识别分类视频进行采样得到多个视频片段；

(2)将每个视频片段处理为三个序列:原始图像序列、边缘图像序列和光流图像序列；

(3)利用卷积神经网络模型针对原始图像序列、边缘图像序列和光流图像序列这三类数据提取特征，并基于这三类特征，计算视频片段隶属于不同类别的概率；

(4)融合不同的特征计算得到的类别概率，得到视频片段的分类结果；

(5)融合步骤(4)的各视频片段的分类结果，得到视频的分类结果；

所述步骤(1)中采样时根据公式(1)-(3)：

Sample(video,m,n)＝{Clip₁,Clip₂,…Clip_k} (1)

l＝1+(m+1)*(n-1)＝m*n+n-m (2)

k＝s-l+1＝s-m*n-n+m+1 (3)

其中video为输入的视频序列，n为采样帧数,m为采样间隔，Clip_i(i＝1,2,…,k)为采样得到的视频片段，s为视频总帧数，k为采样得到的视频序列数目，l为一个片段的帧数跨度。

2.根据权利要求1所述的基于CNN融合时空显著信息的视频识别分类方法，其特征在于，在所述步骤(2)中处理为原始图像序列是对原始视频中采样得到一个原始图像片段序列C，基于序列C的识别过程记为P_C＝CNN(C)；处理为边缘图像序列是使用OpenCV中的Canny边缘函数，针对原始图像片段序列的RGB三个通道分别计算边缘，生成片段边缘图像序列E，基于序列E的识别过程记为P_E＝CNN(E)；处理为光流图像序列是使用OpenCV库函数calcOpticalFlowFarneback()计算生成，然后通过孟塞尔颜色系统，将X和Y方向的光流转换为RGB三个通道，对原始图像片段序列的相邻帧进行处理，从而得到光流图像片段序列F，基于序列F的识别过程记为P_F＝CNN(F)。

3.根据权利要求2所述的基于CNN融合时空显著信息的视频识别分类方法，其特征在于，在所述步骤(3)中卷积神经网络模型为公式(4)-(6)：

P＝CNN(X) (4)

P＝(p₁,p₂,…,p_N) (5)

X＝(x₁,x₂,…,x_M) (6)

其中p_i为某个类别的分类概率，P为类别概率向量，N为类别总数，X为模型的输入序列，M为序列的帧数。

4.根据权利要求3所述的基于CNN融合时空显著信息的视频识别分类方法，其特征在于，在所述步骤(3)中三路卷积网络分别进行训练，采用小批次的随机梯度下降方法；训练时，取训练集中15％的视频作为验证集。

5.根据权利要求4所述的基于CNN融合时空显著信息的视频识别分类方法，其特征在于，在所述步骤(4)中根据公式(7)-(8)进行融合：

其中，为原始图像序列经过CNN输出的类别概率向量，为边缘图像序列经过CNN输出的类别概率向量，为光流图像序列经过CNN输出的类别概率向量,为片段i的平均类别概率向量，Yⁱ为片段i的分类类别。

6.根据权利要求5所述的基于CNN融合时空显著信息的视频识别分类方法，其特征在于，在所述步骤(5)中根据公式(9)-(10)进行融合：

P_V＝(∑P_A)/k (9)

Y_V＝arg max_indexP_V (10)

其中P_A为公式(7)中所求得片段级平均类别概率向量，k为片段个数，P_V为视频级平均类别概率向量，Y_V为视频级分类的类别。