[发明专利]一种视频动作分类的处理方法及装置

权利要求书

1.一种视频动作分类的处理方法，其特征在于，包括：

读取待识别的视频帧，并提取所述视频帧的光流图像；

选择一帧视频帧作为起始帧，提取所述起始帧后的连续m帧视频帧x方向和y方向的光流图像，并与所述起始帧的RGB图像作为一个样本；

将每一个样本中的光流图像和起始帧的RGB图像同时输入空间卷积神经网络和时序卷积神经网络，以分别获得所述空间卷积神经网络和所述时序卷积神经网络的最高卷积层计算出的卷积投影；

根据所述卷积投影和多尺度卷积核的融合模块，获取所述视频帧中视频动作的时空融合特征投影；

将所述时空融合特征投影依次通过卷积层、最大池化层和全连接层进行计算，并根据计算出的结果和分类器获得所述时空融合特征投影对应的视频动作的所属分类类别；

所述多尺度卷积核的融合模块具有p个并联的卷积核，相应的，所述根据所述卷积投影和多尺度卷积核的融合模块，获取所述视频帧中视频动作的时空融合特征投影，包括：

分别对所述空间卷积神经网络和所述时序卷积神经网络的卷积投影进行特征归一化计算；

将并联后的特征归一化计算结果输入多尺度卷积核的融合模块，以获得所述融合模块的p个计算结果；

分别对所述p个计算结果进行非线性变换；

并联非线性变换后的计算结果，以获取所述视频帧中视频动作的时空融合特征投影。

2.根据权利要求1所述的方法，其特征在于，所述p的数值为3，相应的，3个卷积核的空间尺度分别为1*1、3*3以及5*5。

3.根据权利要求1所述的方法，其特征在于，所述分别对所述p个计算结果进行非线性变换，包括：

将每个计算结果分别输入relu激活函数，根据所述relu激活函数以对每个计算结果进行非线性变换。

4.根据权利要求1至3任一所述的方法，其特征在于，所述视频帧包括R个所述样本、所述分类器为softmax分类器，相应的，所述并根据计算出的结果和分类器获得所述时空融合特征投影对应的视频动作的所属分类类别，包括：

选择R个所述样本计算结果中的最大值；

将所述最大值在所述softmax分类器中对应的分类类别作为视频动作的所属分类类别。

5.根据权利要求1至3任一所述的方法，其特征在于，所述空间卷积神经网络和所述时序卷积神经网络使用VGG16模型，所述VGG16模型为：

第一组卷积层及其参数2,64,3,1,1、最大池化层；第二组卷积层及其参数2,128,3,1,1、最大池化层；第三组卷积层及其参数3,256,3,1,1、最大池化层；第四组卷积层及其参数3,512,3,1,1、最大池化层；第五组卷积层及其参数3,512,3,1,1，每组卷积层参数的数字依次代表：该组卷积层的数量、卷积核的数量、卷积核的空间尺度、卷积核移动的空间步长以及该卷积层的输入边缘填充尺度，每组卷积层中的最大池化层的参数为2*2。

6.根据权利要求5所述的方法，其特征在于，所述最高卷积层为所述第五组卷积层中的第3层卷积层。