[发明专利]一种基于转换模块的行为识别方法

说明书

本发明公开了一种基于转换模块的行为识别方法，涉及人体动作识别领域。基于转换模块的行为识别方法首先读取连续帧图像及构建掩码；然后构建转换模块输入数据，包括获取转换模块输入数据和位置掩码矩阵mask操作；再转换模块动作识别，包括数据预处理操作，经过连续编码模块后的数据处理，获得动作检测结果；最后将类别检测结果，与类别标签target计算交叉熵损失，优化网络参数。该方法使用使用自然语言理解中使用的转换模块用于提取连续帧图像的时空特征，同时，整个识别过程中仅使用转换模块，进而降低了方法的参数量、降低了整体计算量、提高了动作识别频率。

技术领域

本发明涉及人体动作识别领域，具体涉及一种基于转换模块的行为识别方法。

背景技术

动作识别通过提取连续视频帧的动作特征，完成视频动作内容的分析任务并获取动作类别的一种分类任务，可有助与提高重点区域下危险行为的监控能力，避免可能存在的危险行为的发生。

专利号为CN202010708119.X的中国专利，提出了一种高效的基于通道融合和分类器对抗的无监督跨域动作识别方法(CAFCCN)，用于解决目标数据集训练数据集无标签的问题，通过使用源域数据集的信息和目标域无标签训练集的信息，实现了对目标域测试集的准确识别，本发明方法收敛速度快，识别精度高，从而为目标数据集训练数据集无标签上的动作识别问题提供了帮助。该方法不足之处在于，需要四个深度深度残差网络模型分别提取源光域光流图特征及目标域光流图特征，同时需要多个融合模块完成源光域光流图特征及目标域光流图特征的融合，从而导致整个算法的模型参数较多，整体计算量较大。

专利号为201810431650.X的中国专利，公开了一种基于深度学习的时序动作识别方法，针对边界检测过程中长动作特征表达有效性不够的问题，通过双流网络同时提取帧间信息和帧内信息，得到视频单元的特征序列，并提出结合上下文信息的多尺度短动作段截选方案，有效地提高后续回归准确率，利用特征序列训练时间边界模型，减小模型训练时间，提高计算效率。该方法不足之处在于，方法中使用间隔帧图像直接输入动作识别网络进行动作识别，当设备处于复杂环境、多目标时，不同目标不同的动作，会影响整个图像的动作检测结果，无法对每一个目标进行动作识别。同时，方法采用双流网络同时提取帧间信息和帧内信息，为了获得时序下连续帧图像特征不可避免的用到了3D卷积，这样的就增加了模型的计算量，导致模型训练周期增加，也增加了样本的搜集量。

专利号为CN202010840934.1的中国专利，公开了一种强动态视频的行为识别方法，根据数据集上的数据分布特征，将传统双流模型中的光流分支作为教导模型，辅助训练RGB分支；RGB分支输入源视频全局的RGB图像帧，光流分支输入源视频全局的光流图像帧，其中光流图像帧由RGB图像帧通过光流计算得到；进行RGB分支和光流分支联合推断，实现视频中行为的识别。专利中，分别以不同配置训练RGB分支及光流分支，相对于传统的双流算法，配置动态识别，可适应性强。本发明通过强化光流特征学习，考虑了强动态行为视频的性质，多阶段传递光流信息，获取充分的运动特征，提高了识别准确度。该专利还是以膨胀3D卷积用于获取光流的时间特征，以2D卷积获取空间特征，需要两个不同网络完成动作识别任务，并没有解决模型计算量较大、3D卷积网络移植性较差的问题。

专利号为201910064529.2的中国专利，公开了一种基于注意力机制的行为识别系统，利用通道注意模块提取通道间特征码，用于动作预测。但是该专利的注意模块，使用的还是三维卷积集合二维卷积的方式，并没有解决3D卷积模型参数多计算量大的问题。

经典的动作识别方法，以3D卷积和光流法为基础，用于提取时间序列下的连续帧特征，获取连续帧在时间轴下的依赖关系，提高了动作识别精度。

相对于2D卷积而言，3D卷积需要在三个维度上提取连续帧特征，导致3D卷积模型的参数量增加，并增加了模型计算量，导致模型的训练周期较长。同时，3D作为一种新的计算方式，在不同深度学习框架下，对3D卷积的支持程度较差，影响了基于3D卷积的动作识别算法的实际应用性。