[发明专利]一种基于时空对抗生成网络的视频行为识别方法

权利要求书

1.一种基于时空对抗生成网络的视频行为识别方法，其特征在于，包括：

1)从视频序列中提取关键帧和光流图；

2)将关键帧送入空域生成对抗网络GAN1的生成器模型G1和判别器模型D1进行训练，直至模型收敛；将光流图送入时域生成对抗网络GAN2的生成器模型G2和判别器模型D2进行训练，直至模型收敛；生成对抗网络中，通过生成器生成尽量真实的图片，判别器做到能够正确识别输入的图像是否真实，生成器和判别器相互对抗，从而对生成对抗网络模型的参数进行优化；

生成器模型由六层反卷积层组成，判别器模型由六层卷积层组成，判别器模型的倒数三层图像特征分别经过4×4最大池化、2×2最大池化和原样输出后进行拼接，再做展平操作形成一维特征向量作为多特征层；通过判断输入图像是否真实输出感知损失PerceptualLoss，返回训练判别器；利用输入“真”图像关键帧和生成器生成的“假”图像各自得到的多特征层之间的特征相似度输出特征匹配损失Feature Matching Loss，返回训练生成器；通过反复训练与调整参数，得到训练完成的已收敛的判别器；

其中感知损失Perceptual Loss的计算方法如下：

其中，z表示输入的随机高斯噪声，p_z(z)表示输入噪声z的分布，G(z)表示输入噪声z的生成器G输出的生成图像，D()表示判别器D判断输入图像是否真实的概率，表示从已知的噪声分布p_z(z)中取得的样本；

特征匹配损失Feature Matching Loss的计算方法如下：

其中，p_data(x)表示真实图像数据分布，表示直接从训练数据x中取得的真实样本，f(x)表示判别器D多特征层的输出特征；

3)再次将关键帧和光流图分别送入训练好的判别器模型D1和判别器模型D2，分别提取并将输出展平成一维向量，得到视频序列的空域间特征和时域间特征；

4)对得到的空域特征和时域特征进行拼接，送入支持向量机SVM进行训练和分类，得到视频行为识别结果。

2.如权利要求1所述的一种基于时空对抗生成网络的视频行为识别方法，其特征在于，通过帧间差分法提取所述视频序列的关键帧。

3.如权利要求1所述的一种基于时空对抗生成网络的视频行为识别方法，其特征在于，通过密集光流方法提取视频序列的光流图。