[发明专利]基于空域分类网络和时域分类网络融合的视频分类方法

说明书

本发明公开了一种基于空域分类网络和时域分类网络融合的视频分类方法，主要解决现有视频分类方法准确率低的问题。其实现方案为1)获取训练集和测试视频；2)从训练集中提取视频帧；3)使用训练集对卷积神经网络进行训练；4)对从训练集中提取的视频帧提取特征；5)使用训练集对空域分类网络进行训练；6)使用训练集对时域分类网络进行训练；7)使用训练后的空域分类网络和时域分类网络对测试视频进行分类，并对空域分类网络和时域分类网络的分类结果进行融合，完成对视频的分类。本发明相比现有视频分类方法有效提高了分类准确率，可用于视频的特征提取和识别。

技术领域

本发明属于图像处理技术领域，更进一步设计一种视频的计算机分类方法，可用于视频的特征提取和识别。

背景技术

随着互联网技术的不断普及和视频压缩存储技术的日益发展，互联网上所能获取的视频数量呈现了爆炸式的增长。如何对海量的视频数据进行分析管理，就成为了目前亟需解决的重要问题。其中，视频分类技术是视频分析的基础。如果新增的互联网视频不能被适当的标记和分类，用户就无法有效的利用互联网获取或者共享这些视频文件。早期的视频分类方法往往分为两步。第一步是提取一种或多种视频特征，第二步是利用分类器对提取到的特征进行分类。但是这类算法过度依赖所提取特征的质量，而且不能充分获取视频中复杂的视频模式，因此对视频的分类准确率并不理想。

近年来，深度神经网络在计算机视觉领域取得了巨大成功，它能够借助层次化的结构，从训练数据中学习复杂多样的特征模式，从而有效提取输入数据的特征。研究人员也提出了多种基于深度神经网络的视频分类技术，使得视频分类方法的效果得到了明显的提升。但是研究表明，在一些情况下，对输入视频数据添加细微干扰，如改变部分像素点像素值后，深度神经网络对于输入样本的识别结果可能会产生严重错误。这是由于深度神经网络的本质在于理解训练数据的统计特性，从训练数据中学习其中复杂多样的特征模式。一旦数据的统计特性改变，就会影响深度神经网络的分类结果。而人工标记的过程就能够排除此类干扰的影响，因此理解并模拟人工标记过程中人类的认知方式对提高视频分类方法的效果，有着重要的意义。此外，目前一些分类效果较好的基于深度神经网络的视频分类方法大多包含两个独立的空域分类网络和时域分类网络，需要分别进行网络结构的设计和网络参数的训练，设计难度较大，训练耗时较多。同时，现有的视频分类方法的分类准确率仍然有待提高。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于空域分类网络和时域分类网络融合的视频分类方法，以降低网络的设计难度和训练时间，提升了视频的分类准确率。

本发明的技术方案是：利用深度神经网络技术，同时提取视频的时域特征和空域特征，学习视频中复杂多样的特征模式；分别从空域和时域对视频的类别进行分析；融合空域和时域的分析结果，得到最终对视频的分类结果。其实现步骤包括如下：

1)获取训练集和测试视频：

从已标记类别的视频数据库中任取N个视频组成训练集：X＝{x₁,x₂,...,x_k,...,x_N}，其中x_k是第k个训练集视频，x_k的标签为y_k，k＝1,2,...,N；

将剩余视频组成测试集，从测试集中取一个视频作为测试视频x_test；

2)提取训练集X中训练集视频x_k的全部视频帧其中，τ＝1,2,...,T，T为视频x_k中所包含视频帧的数目，以训练集视频x_k的标签y_k作为全部视频帧的标签；

3)以全部视频帧及其标签y_k作为训练数据，对卷积神经网络进行训练，得到训练好的卷积神经网络Z；

4)提取全部视频帧的特征：