[发明专利]基于有序光流图的视频分析方法及系统

说明书

本发明涉及视频分析技术领域，具体涉及基于有序光流图的视频分析方法及系统，通过有序光流图建模视频的长时时域结构，并利用C3D Net和VGG‑16Net构造一个包含表观和短时运动流、长时运动流的双流卷积网络，然后分别以堆叠RGB帧、有序光流图为输入提取视频的表观和短时运动信息、长时运动信息，最后采用线性SVM对行为视频进行分类，能够有效建模行为视频的长时时域结构，进而提高对行为视频的识别准确率。

技术领域

本发明涉及视频分析技术领域，尤其涉及一种基于有序光流图的视频分析 方法及系统。

背景技术

人体行为在视频中通常由数十帧甚至上百帧来共同呈现，因此视频的长时 时域信息对于行为识别非常重要。

行为视频是一种连续的图像序列，而现有的视频分析方法行对行为视频的 识别准确率不高。

发明内容

本发明的目的在于提供基于有序光流图的视频分析方法及系统，以提高对 行为视频的识别准确率。

为实现上述目的，本发明提供了一种基于有序光流图的视频分析方法，具 体包括以下步骤:

通过有序光流图建模视频的长时时域结构；

利用C3D Net和VGG-16Net构造一个包含表观和短时运动流、长时运动流 的双流卷积网络；

分别以堆叠RGB帧、有序光流图为输入提取视频的表观和短时运动信息、 长时运动信息；

采用线性SVM对行为视频进行分类。

其中，所述通过有序光流图建模视频的长时时域结构的具体步骤为：

将光流序列在保留顺序信息的条件下压缩融合到单幅图像上；

将单幅图像作为深度网络的输入以实现长时间运动信息的提取。

其中，在所述采用线性SVM对行为视频进行分类的步骤之前，还包括步骤：

对长时运动流的数据进行十倍增强。

其中，所述对长时运动流的数据进行十倍增强的具体步骤为：

采用角点裁剪对长时运动流进行五倍增强；

采用尺度抖动对长时运动流进行五倍增强。

其中，所述采用尺度抖动对长时运动流进行五倍增强的具体步骤为：

将输入图像尺寸固定为256×340；

在所述角点裁剪的五个位置从{256,224,192,168}任选值作为宽和高对输入 图像进行裁剪；

将所有裁剪区域缩放为224×224以实现数据的五倍增强。

其中，所述采用线性SVM对行为视频进行分类的具体步骤为：

融合双流卷积网络中的两个网络fc6层的输出响应；

输入线性SVM进行分类识别。

本发明还提供一种视频分析系统，包括基于有序光流图的视频分析方法。

本发明的基于有序光流图的视频分析方法及系统，通过有序光流图建模视 频的长时时域结构，并利用C3D Net和VGG-16Net构造一个包含表观和短时运 动流、长时运动流的双流卷积网络，然后分别以堆叠RGB帧、有序光流图为输 入提取视频的表观和短时运动信息、长时运动信息，最后采用线性SVM对行为 视频进行分类，能够有效建模行为视频的长时时域结构，进而提高对行为视频 的识别准确率。

附图说明