[发明专利]一种基于三维卷积神经网络的视频分类方法

说明书

本发明公开了一种基于三维卷积神经网络的视频分类的方法，属于视频处理技术领域。此方法将视频等间隔采样为多个视频段，扩增了视频数据库，将三维视频段直接输入到3D CNN中，同时提取视频的时域和空域特征，改善了传统视频分类方法因人工选取视频特征及视频建模方式的局限性。并行分布式3D CNN多分类模型降低了3D CNN学习的复杂度，同时使得分类系统更方便的实现分布式并行计算。基于3D CNN多分类系统能够仅用较少的视频段就达到较高的识别率，并能够将不属于任意类别的视频分类为新增类别，避免了对新增类别的分类错误。

技术领域

本发明涉及一种视频分类的方法，属于视频处理技术领域。

背景技术

随着多媒体技术和互联网技术的发展，现在人们可以从各种渠道方便的获得许多的视频数据，但是由于这些海量的视频数据太过于庞大，如何对这些视频数据进行分类，使人们能够更加方便的获取自己感兴趣的数据成为计算机视觉领域里面非常重要同时也非常具有挑战性的研究热点之一。

对视频的分类技术主要包括基于视频的视觉信息、文字信息和音频信息三种方法，视觉信息作为视频中最重要的信息，也是包含视频信息最多，最能代表视频类别的信息，因此也最值得研究。传统的基于视觉信息的视频分类技术涉及到特征提取、视频建模、分类技术三个方面的内容。在特征提取环节，研究者通常自主选择视频帧的全局或局部特征来表示视频，如HSV、LBP等特征，但这种表示方法不能全面而准确的描述视频内容，也忽略了视频的时域特征。视频是连续的图像序列，因此具有时间和空间上的相关性，对视频的准确描述应该能够同时捕捉视频空域和时域两个方面的特性。三维卷积神经网络(3D CNN)可以直接将视频作为三维数据输入，避免了人为选择视频特征的局限性，并且三维的输入模式保证了视频在时间上的连续性，为同时提取视频的时域和空域特征提供了新的途径。同时，基于机器学习的卷积神经网络避免了视频建模环节，而是从大量的视频数据中通过学习的方式得到较优的分类效果，改善了因人工建模选取的不适对分类效果的影响。

虽然三维卷积神经网络在处理视频方面具有优势，但目前其应用受到数据资源不足、三维卷积神经网络的训练过程复杂等问题的制约。基于机器学习的卷积神经网络的训练需要大量的视频数据，数量级应达到几千甚至几万，而现有的视频数据库每一类视频的数量基本在100个左右，如CC_WEB_VEIDEO数据库的第二类拷贝视频数量为122，第六类数量为45等，视频数据的数量远远满足不了卷积神经网络的要求。另外，在视频分类应用中，基于卷积神经网络的模式分类通常采用多类别模型，即网络输出端设计多个节点表示多个类别。由此导致的结果是，当类别数目增加时，网络的构建难度以及计算复杂度会急剧增加，对硬件配置的要求也较高。同时，多类别模型只能对已有类别的视频正确分类，当输入类别之外的视频时，网络会将其错误分到已有类别中的某类中。因此，如何克服上述问题，在现有视频数据资源和硬件配置的条件下，降低网络构建难度，实现快速、实用的视频分类系统已成为大数据多媒体应用的一个重要课题。

发明内容

本发明的目的在于提供一种基于小规模视频数据集和较低配置硬件条件下的视频分类方法，该方法通过数据集扩增和三维卷积神经网络的分布式并行运算方式，将视频多分类问题转化为二分类问题，既解决了视频数据资源不足的难题，又大大降低了三维卷积神经网络学习的复杂度。在分类识别阶段，本发明提出的方法能够仅用较少的几个视频段就达到较高的识别率，并能够将不属于任意类别的视频分类为新增类别，避免了对新增类别的分类错误。

本发明采用以下技术方案：

一种基于三维卷积神经网络3D CNN的视频分类方法，该方法构建了并行分布式的三维卷积神经网络多分类模型，并对视频库进行扩增处理，该方法包括以下步骤：

(1)读取视频库中的视频，对视频帧进行灰度化处理；

(2)通过等间隔采样，对已有视频库进行扩增处理，使原有视频库的每个视频扩增为多个固定帧数为k的视频段，且任意视频段均无重复的帧；