[发明专利]一种基于时空对抗生成网络的视频行为识别方法

摘要

本发明涉及一种基于时空对抗生成网络的视频行为识别方法，包括：基于空域对抗生成网络提取输入的包含人类行为的视频的空间特征，基于时域对抗生成网络提取输入的包含人类行为的视频的时间特征，将空间对抗生成网络和时间对抗生成网络提取的两个维度特征进行拼接，得到时空融合特征，通过SVM支持向量机对融合后的特征向量进行分类，从而识别出视频行为。本发明基于时空生成对抗网络，充分考虑其学习特性、视频特点和人类动作特征，有效地结合人类行为特征提取视频中所包含的主要时空特征信息进行融合，基于时空特征信息之间的互补性获得更有表征能力的时空特征，从而对输入视频做出准确的行为识别。

主权项

1.一种基于时空对抗生成网络的视频行为识别方法，其特征在于，包括：1)从视频序列中提取关键帧和光流图；2)将关键帧送入空域生成对抗网络GAN1的生成器模型G1和判别器模型D1进行训练，直至模型收敛；将光流图送入时域生成对抗网络GAN2的生成器模型G2和判别器模型D2进行训练，直至模型收敛；3)再次将关键帧和光流图分别送入训练好的判别器模型D1和判别器模型D2，分别提取并将输出展平成一维向量，得到视频序列的空域间特征和时域间特征；4)对得到的空域特征和时域特征进行拼接，送入支持向量机SVM进行训练和分类，得到视频行为识别结果。