[发明专利]一种基于时空对抗生成网络的视频行为识别方法

说明书

本发明涉及一种基于时空对抗生成网络的视频行为识别方法，包括：基于空域对抗生成网络提取输入的包含人类行为的视频的空间特征，基于时域对抗生成网络提取输入的包含人类行为的视频的时间特征，将空间对抗生成网络和时间对抗生成网络提取的两个维度特征进行拼接，得到时空融合特征，通过SVM支持向量机对融合后的特征向量进行分类，从而识别出视频行为。本发明基于时空生成对抗网络，充分考虑其学习特性、视频特点和人类动作特征，有效地结合人类行为特征提取视频中所包含的主要时空特征信息进行融合，基于时空特征信息之间的互补性获得更有表征能力的时空特征，从而对输入视频做出准确的行为识别。

技术领域

本发明涉及计算机视觉和模式识别领域，特别是指一种基于时空对抗生成网络的视频行为识别方法。

背景技术

近年来，随着现实生活中图像视频数据爆炸性地增长，完全依靠人工处理海量视觉信息数据成为几乎不可能完成的任务，而依靠计算机去模拟人类视觉完成目标跟踪、目标检测和行为识别等任务的计算机视觉成为学术界的研究热点。其中，视频行为识别在人机交互、智能监控视频系统、视频检索等智能安防、智慧生活等场景中有极大的应用需求，但由于遮挡、角度变化、场景分析等实际难题，准确地识别视频中的人物行为并做出相应的分析仍是一个具有挑战性的问题。

随着深度学习方法的发展和计算能力的大幅度提高，深度学习技术在视频行为识别相关领域也取得了一些突破，但依旧处于起步阶段。深度学习最显著的优点在于可以通过自主训练学习视频特征。因此，基于深度学习的知识来构建深度神经网络框架并对视频中人物的行为类别进行识别，具有重要的理论意义和应用价值。

发明内容

本发明的主要目的在于克服现有技术中的缺陷，提出一种基于时空对抗生成网络的视频行为识别方法。该方法利用生成对抗网络的强学习能力，有效扩充学习样本，从而具有较高的视频行为识别能力。

本发明采用如下技术方案：

一种基于时空对抗生成网络的视频行为识别方法，其特征在于，包括：

1)从视频序列中提取关键帧和光流图；

2)将关键帧送入生成空域对抗网络GAN1的生成器模型G1和判别器模型D1进行训练，直至模型收敛；将光流图送入时域生成对抗网络GAN2的生成器模型G2和判别器模型D2进行训练，直至模型收敛；

3)再次将关键帧和光流图分别送入训练好的判别器模型D1和判别器模型D2，并将输出展平成一维向量，得到视频序列的空域特征和时域特征；

4)对得到的空域特征和时域特征进行拼接，送入支持向量机SVM进行训练和分类，得到视频行为识别结果。

优选的，通过帧间差分法提取视频序列的关键帧。

优选的，通过密集光流法提取视频序列的光流图。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

本发明构建了一种基于时空对抗生成网络的视频行为识别方法，通过时空生成对抗网络有效地结合行为特征分别从空域和时域提取视频中所包含的空域特征信息和时域特征信息并进行融合，基于时空特征信息之间的互补性获得更有表征能力的特征，送入SVM支持向量机对输入视频做出准确的行为识别。

附图说明

图1是本发明的流程示意图。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

本发明为了解决现有技术的行为识别方法大多仍是需要对数据集进行标记和现有数据库尺度的不足，提供一种基于时空对抗生成网络的视频行为识别方法，如图1所示，本发明方法包括特征提取过程和识别过程，具体步骤如下：