[发明专利]一种时空交织的行为识别网络模型构建方法及装置

说明书

本发明公开了一种时空交织的行为识别网络模型构建方法及装置，所述方法包括：加载视频数据并提取视频帧，对视频帧进行随机裁剪和随机水平翻转，得到模型的输入数据集，将数据集划分为训练集、验证集和测试集；确定时空交织行为识别网络模型结构，该结构包括依次连接的基网络、交互特征协同模块、并行增强伪3D模块和时空差分注意力模块；利用训练集中的数据对时空交织行为识别网络模型进行网络训练，利用验证集中的数据评估模型，一旦找到最佳的参数，则保存最优模型；利用测试集中的数据对最优模型进行测试。本发明在降低计算复杂度的基础上提高对行为识别的精度。

技术领域

本发明涉及计算机视觉处理领域，更具体而言涉及一种用于视觉处理的行为识别网络的构建。

背景技术

行为识别是一项基本但十分重要的视觉任务，在实际应用中涉及诸多领域，诸如虚拟现实、增强现实、安防、体育分析、自动驾驶等领域。在这些领域中，可通过行为分析技术实现智能监控、视频内容检索、运动互动分析等功能。

尽管现有的行为识别模型在识别精度上已经取得了很显著的成就，但它们往往都是以不断增加的计算复杂度为代价。因此，如果将这些复杂的大模型部署到计算能力有限且对实时性要求较高的平台上，如自动驾驶汽车平台，这将会是一项很严峻的挑战。

解决此问题一个最常用的方法就是将3D卷积核解耦成两个伪3D卷积，分别是1×3×3的空间伪3D卷积和3×1×1的时间伪3D卷积。这种方式会显著降低网络的参数，且模型易收敛。然而，伪3D卷积的简单堆叠容易忽视时空特征之间的相互作用，进而导致最终的性能增加有限。因此，需要一种高效且高精度的行为识别网络。

发明内容

发明目的：本发明的目的是提供一种时空交织的行为识别网络模型构建方法及装置，解决伪3D卷积神经网络只注重降低计算复杂度而忽略时空特征之间的交互作用，进而限制其性能表现的问题。

技术方案：第一方面，本发明提供一种时空交织的行为识别网络模型构建方法，包括以下步骤：

加载视频数据并提取视频帧，对视频帧进行随机裁剪和随机水平翻转，得到模型的输入数据集，将数据集划分为训练集、验证集和测试集；

确定时空交织行为识别网络模型结构，该结构包括基网络、交互特征协同模块、并行增强伪3D模块、时空差分注意力模块和分类器，其中基网络接受视频帧输入并提取基特征；交互特征协同模块通过对基特征进行两轮不同的卷积和拼接操作，提取出具有辨别力的时空特征；并行增强伪3D模块通过对时空特征进行并行卷积、拼接和细化操作，提取出增强的时空特征；时空差分注意力模块通过对增强的时空特征进行池化操作并引入注意力机制来抑制不同维度的冗余特征，获得最终增强的特征；分类器基于最终增强的特征完成分类识别；

利用训练集中的数据对时空交织行为识别网络模型进行网络训练，利用验证集中的数据评估模型，一旦找到最佳的参数，则保存最优模型；

利用测试集中的数据对最优模型进行测试。

第二方面，本发明还提供一种时空交织的行为识别网络模型构建装置，包括：

数据准备模块，用于加载视频数据并提取视频帧，对视频帧进行随机裁剪和随机水平翻转，得到模型的输入数据集，将数据集划分为训练集、验证集和测试集；

模型建立模块，用于确定时空交织行为识别网络模型结构，该结构包括基网络、交互特征协同模块、并行增强伪3D模块、时空差分注意力模块和分类器，其中基网络接受视频帧输入并提取基特征；交互特征协同模块通过对基特征进行两轮不同的卷积和拼接操作，提取出具有辨别力的时空特征；并行增强伪3D模块通过对时空特征进行并行卷积、拼接和细化操作，提取出增强的时空特征；时空差分注意力模块通过对增强的时空特征进行池化操作并引入注意力机制来抑制不同维度的冗余特征，获得最终增强的特征；分类器基于最终增强的特征完成分类识别；