[发明专利]一种非监督视频语义提取方法

说明书

本发明公开了一种非监督视频语义提取方法，包括构建三维卷积神经网络模型，使用视频数据库中带标签视频数据集训练三维卷积神经网络模型；使用滑动窗口将视频数据库中不带标签视频数据处理成符合三维卷积神经网络输入的数据；使用该生成数据作为三维卷积神经网络模型的输入数据，取三维卷积神经网络模型全连接层的输出数据作为视频段的语义特征；使用该生成的视频段语义特征序列作为视频语义自编码器的输入，通过自编码器整合得到视频整体语义特征。本发明实施例通过结合三维卷积神经网络和循环自动编码器的方案，解决了非监督的视频语义分析与提取问题，提高了视频语义提取准确度。

技术领域

本发明涉及人工智能和模式识别技术领域，特别是涉及一种基于深度学习模型的非监督视频语义提取方法。

背景技术

“语义”这一概念起源于19世纪末，是虚拟数据所对应的现实世界中的事物所代表的含义的表现，以及这些含义之间的关系，是虚拟数据在某个领域上的解释和逻辑表示。而且“视频语义”是针对人类思维而言的，当我们想用计算机来理解视频之中的“语义”时，计算机只能够识别诸如颜色、形状等底层特征。因此，我们需要采用一些方法将这些底层的特征联系起来，形成一些更高层的含义，从而将视频中所要展示的信息更好的表达出来。

视频数据通常是非结构化的，因此对视频的语义提取，需要从多方面进行考虑。从内容上，需要考虑视频含有的空间和时间属性。从语义上，需要考虑视频信息包括的图像特征、字幕文本特征、语音特征和视频描述信息文本特征等。视频在物理结构上分成了四个结构层次：帧、镜头、场景和视频。视频帧的内容记录了视频中对象的特征，如色彩、纹路和形态等；镜头是由若干连续帧组成的，其内容记录了连续帧中对象的运动特征，表现了对象的时间特性。在现实中，镜头是生成视频的基本单位，即是摄像机一次拍摄所得到的最小单位；场景由一系列语义内容相关并且时间上连续的镜头组成，其内容记录了较为复杂的语义信息。若干个场景组成一个视频文件，其内容记录了整个视频的语义信息。

(1)基于关键帧的视频语义提取，通常的关键帧语义提取技术流程为：对视频的帧截图；对帧截图进行关键帧识别，对取得的关键帧进行语义分析；将视频中包含的语音数据通过语音识别转换成文本；对语音文本进行语义识别；将上述关键帧语义和语音语义结合在一起，就得到了这个视频的语义；也就是将视频的图像特征和声音mfcc特征转换为语义特征，然后结合字幕的识别，通过Neuro-Linguistic Programming处理字幕得到词向量和文档相似度。这个方法的优势在于对视频上的文字内容较多的视频有较好的提取效果，比如一些教育类的视频。劣势就是对其他类型的文字较少的视频，因为其关键帧中的字幕信息较少，很难从中获得有用的文本信息。

(2)基于视频文本信息关键词提取，这种方法是对纯文本的提取，且此方法对词本身的重要程度、词所在的位置要求比较高，前面的词比后面的词重要，词频，词的整体出现顺序，也需要综合起来。也就是说标题的内容需要非常切合视频语义，否则这种方法的准确率会非常低。这种方法的优势是计算复杂度较低，业内有成熟的文本处理算法，并且各种算法开源包都很方便。劣势：有一些网络用语其表达的意思与字面意思相差很大，对视频语义的提取会产生极大的干扰。

对于体育视频的语义分析，目前的方法很少考虑对无标签数据的语义提取，因此当测试数据不属于训练数据种类之一时会发生领域漂移问题，从而影响视频语义提取准确度。

发明内容

本发明的目的在于克服现有的技术不足，提供一种使用三维卷积神经网络模型和循环自编码器相结合的视频语义提取的方法，能够解决非监督的视频语义分析与提取问题，提高视频语义提取准确度。

具体的，一种非监督视频语义提取方法，其特征在于，包括以下步骤：

S1：构建三维卷积神经网络模型，使用视频数据库中带标签的UCF-101视频集训练三维卷积神经网络模型；

S2：使用滑动窗口将视频数据库中不带标签视频数据处理成符合三维卷积神经网络输入的数据；