[发明专利]一种用于视频分析中的动作识别方法

权利要求书

1.一种用于视频分析中的动作识别方法，其特征在于，包括如下步骤：

(1)获取动作视频，将其处理成静止视频帧，计算叠加光流图；

(2)采用步骤(1)中获得的静止图像帧数据以及光流图作为输入分别进行训练，学习特征；

(3)对于步骤(2)中卷积层的时空特征进行卷积计算进行融合，并且进行3D池化，同时光流网络不截断，进行3D池化后继续提取特征；

(4)将步骤(3)中得到的融合特征与光流特征进行平均计算融合；

(5)根据损失函数对网络迭代训练，直至模型结果收敛。

2.如权利要求1所述的用于视频分析中的动作识别方法，其特征在于，步骤(1)中，计算叠加光流图具体包括如下步骤：

(11)首先计算光流图的光流矢量；对于连续帧t和t+1，它们之间的一组位移矢量场表示为d_t，在第t帧的像素点(u,v)处的位移矢量使用d_t(u,v)表示，它表示该像素点从第t帧移动到第t+1帧的对应像素点的位移矢量；

(12)将长度为L的连续帧矢量场的水平分量和垂直分量叠加起来，形成总长为2L的输入光流矢量用来表示连续帧间的运动信息：

其中，u＝[1,W],v＝[1,H],k＝[1,L]，W和H为视频的宽度和高度，对于任意像素点(u,v)，叠加光流矢量表示为I_τ(u,v,c)，c＝[1,2L]是对长度为L的帧序列中该像素点运动信息的编码。

3.如权利要求1所述的用于视频分析中的动作识别方法，其特征在于，步骤(3)中，对于步骤(2)中卷积层的时空特征进行卷积计算进行融合，并且进行3D池化，同时光流网络不截断，进行3D池化后继续提取特征具体包括如下步骤：

在时间t融合两个网络中的特征图和其融合函数表示为f∶从而产生一张输出特征图为其中W，H，D分别表示的是特征图的宽，高以及相对应的特征图的通道数；

(31)首先在通道d上的相同空间位置i,j堆叠两个特征图：

其中

(32)对于步骤(31)中得到的堆叠后的特征图y^cat＝f^cat(x^a,x^b)，将其与过滤器以及偏移参数在相同的空间位置i，j和特征通道d，进行卷积计算y^conv＝f^conv(x^a,x^b)，卷积融合表示为：

y^conv＝y^cat*f+b，

其输出结果的通道数为D，过滤器的维度是1×1×2D，其中1≤i≤H,1≤j≤W,1≤d≤D，同时，这里的过滤器f用于将维度减少2倍，并且能够在相同的空间位置上对两个特征图x^a，x^b进行加权组合；

(33)对于步骤(31)中得到的融合后的时空特征图进行3D池化，将时间t＝1...T上的时空特征图叠加起来，得到输入采用大小为W′×H′×T′的池化窗口对其进行最大池化操作；

(34)对于卷积融合前的光流特征进行3D池化，同步骤(33)，将2D池化扩展到时间域。