[发明专利]一种基于部分解耦条件下通道分配的动作识别方法及系统

说明书

本发明公开了一种基于部分解耦条件下通道分配的动作识别方法及系统，该方法包括：获取视频信息并对视频信息进行处理，抽取视频帧图像；将视频帧图像输入到预设的卷积神经网络进行动作识别，得到识别结果；所述预设的卷积神经网络包括残差层、两个R(2+1)块、Decoupled‑3D模块、池化层和全连接层。该系统包括：视频帧抽取模块和识别模块。本发明通过Decoupled‑3D模块分配空间和时间上的通道维度信息来平衡模型的表达能力。本发明作为一种基于部分解耦条件下通道分配的动作识别方法及系统，可广泛应用于模型改进领域。

技术领域

本发明属于模型改进领域，尤其涉及一种基于部分解耦条件下通道分配的动作识别方法及系统。

背景技术

当前主流的视频动作识别方法包括融合表观和光流等动态特征的双流网络、3DCNN及其分解的方法和基于循环神经网络的方法。双流网络一般包括两个分支，一个分支利用RGB图像提取动作的表观特征，另一个分支利用光流或者相邻帧间的动态信息来提取时间特征；3DCNN则是将2D卷积网络进行扩展，使得卷积核可以同时在时间和空间上进行特征提取，分解方法则是将原始3D卷积分解为2D空间卷积和1D时间卷积；循环神经网络因为其在文本和语音分析中对时间序列建模的优秀表现也被应用到动作识别领域中，主要是利用LSTM、GRU等来实现。但是当前一些主流的分解工作并没有考虑卷积核时空表达能力的均衡问题。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于部分解耦条件下通道分配的动作识别的动作识别方法，通过分配空间和时间上的通道维度信息来平衡模型的表达能力。

本发明所采用的第一技术方案是：一种基于部分解耦条件下通道分配的动作识别方法，包括以下步骤：

获取视频信息并对视频信息进行处理，抽取视频帧图像；

将视频帧图像输入到预设的卷积神经网络进行动作识别，得到识别结果；

所述预设的卷积神经网络包括残差层、两个R(2+1)块、Decoupled-3D模块、池化层和全连接层。

进一步，所述获取视频信息并对视频信息进行处理，抽取视频帧图像这一步骤，其具体包括：

获取视频并将视频按某一帧率裁剪成画面帧，选取连续的画面帧图像；

将选取的画面帧图像按预设规则裁剪尺寸，得到视频帧图像。

进一步，所述Decoupled-3D模块基于通道分解的部分解耦时空滤波器设计形成，所述Decoupled-3D模块包括利用通道分解形成的空间卷积层和时间卷积层。

进一步，所述将视频帧图像输入到预设的卷积神经网络进行动作识别，得到识别结果这一步骤，其具体包括：

将视频帧图像输入到预设的卷积神经网络；

依次经过残差层、两个R(2+1)D块和Decoupled-3D模块对视频帧图像的数据进行卷积操作，经过池化层进行下采样，最后基于全连接层对特征进行分类，得到识别结果。

具体地，经过这几个层得到的是时空分辨率逐渐减小的特征图。

进一步，经过Decoupled-3D模块对视频帧图像的数据进行卷积操作具体为数据进入Decoupled-3D模块后依次进行空间卷积、归一化、激活、时间卷积、归一化、激活操作，输出特征图。

本发明所采用的第二技术方案是：一种基于部分解耦条件下通道分配的动作识别系统，包括以下模块：

视频帧抽取模块，用于获取视频信息并对视频信息进行处理，抽取视频帧图像；

识别模块，用于将视频帧图像输入到预设的卷积神经网络进行动作识别，得到识别结果。