[发明专利]一种基于深度学习的视频理解方法

权利要求书

1.一种基于深度学习的视频理解方法，其特征在于，包括如下步骤：

1)通过训练获取基于LSTM网络的模型，包括：

(1)使用C3D算法取得图像特征；

(2)使用PCA算法进行降维处理，将特征向量的维数由4096降至128，并进行时域混叠和归一化，得到归一化后的特征向量；

(3)使用MSR-VTT数据库在LSTM网络中进行训练，得到LSTM网络模型，具体是对每个视频图像序列x归一化后的特征向量，按视频图像序列x分组，将分组后的特征向量和MSR-VTT数据库中对应的语句信息均输入LSTM网络，训练得到基于LSTM网络的模型；

2)通过基于LSTM网络的模型，得到待测视频图像序列的语句信息，包括：

(1)使用C3D算法取得待测视频图像序列的特征向量；

(2)使用PCA算法进行降维处理，将特征向量的维数由4096降至128，并进行时域混叠和归一化，得到归一化后的特征向量；

(3)通过基于LSTM网络的模型，得到待测视频图像序列的输出的语句。

2.根据权利要求1所述的一种基于深度学习的视频理解方法，其特征在于，步骤1)中的第(1)步包括：对于每一个输入的视频图像序列x＝{x₁,x₂,...,x_t,...,x_n}，其中，x₁,x₂,...,x_t,...,x_n分别对应视频图像序列x中第1帧、第2帧、…、第t帧、…、第n帧图像，将视频图像序列x的所有帧分为8帧一组的图片组，每8帧输出一次C3D的fc7层数据作为特征提取结果，得到k个4096维的特征向量，其中k为n÷8向下取整。

3.根据权利要求1所述的一种基于深度学习的视频理解方法，其特征在于，步骤1)中的第(2)步包括：

对MSR-VTT数据库中的所有视频共有m个对象特征向量，特征是4096维，建立一个4096×m的矩阵作为样本；求所述样本的协方差矩阵，得到一个4096×4096的协方差矩阵；然后求出所述协方差矩阵的特征值和特征向量，有4096个特征值和4096个特征向量，根据特征值的大小，取前128个特征值所对应的特征向量，构成一个4096×128的特征矩阵，这个矩阵就是需要求的特征矩阵，用第(1)步所提取的所有视频图像序列x的特征向量乘上4096×128的特征矩阵，维数就下降为128维；将每个视频图像序列x中的相邻两个特征向量对应项相加，即第1项与第2项对应项，第2项与第3项对应项相加，依次进行，再进行归一化，得到归一化后的特征向量。

4.根据权利要求1所述的一种基于深度学习的视频理解方法，其特征在于，步骤2)中的第(1)步包括：对于待测视频图像序列x₀＝{x₀₁,x₀₂,...,x_0t,...,x_0l}，x₀₁,x₀₂,...,x_0t,...,x_0l分别对应视频图像中第1帧、第2帧、…、第t帧、…、第l帧图像，将待测视频图像序列x₀的所有帧分为8帧一组的图片组，每8帧输出一次C3D的fc7层数据作为特征提取结果，得到p个4096维的特征向量，其中p为n÷8向下取整。

5.根据权利要求1所述的一种基于深度学习的视频理解方法，其特征在于，步骤2)中的第(2)步包括：对待测视频图像序列x₀生成的p×4096维特征向量，使用步骤1)的第(2)步中取得的4096×128的特征矩阵，进行矩阵乘法，得到p×128维特征向量，将待测视频图像序列x₀中的相邻两个特征向量对应项相加，即第1项与第2项对应项，第2项与第3项对应项相加，依次进行，再进行归一化，得到归一化后的特征向量。

6.根据权利要求1所述的一种基于深度学习的视频理解方法，其特征在于，步骤2)中的第(3)步包括：将得到的p×128维特征向量输入LSTM网络，使用步骤1)的第(3)步中的得到的基于LSTM网络的模型，得到待测视频图像序列x₀对应的输出的语句。