[发明专利]一种时空交织的行为识别网络模型构建方法及装置

权利要求书

1.一种时空交织的行为识别网络模型构建方法，其特征在于，包括以下步骤：

(1)加载视频数据并提取视频帧，对视频帧进行随机裁剪和随机水平翻转，得到模型的输入数据集，将数据集划分为训练集、验证集和测试集；

(2)确定时空交织行为识别网络模型结构，该结构包括基网络、交互特征协同模块、并行增强伪3D模块、时空差分注意力模块和分类器，其中基网络接受视频帧输入并提取基特征；交互特征协同模块通过对基特征进行两轮不同的卷积和拼接操作，提取出具有辨别力的时空特征；并行增强伪3D模块通过对时空特征进行并行卷积、拼接和细化操作，提取出增强的时空特征；时空差分注意力模块通过对增强的时空特征进行池化操作并引入注意力机制来抑制不同维度的冗余特征，获得最终增强的特征；分类器基于最终增强的特征完成分类识别；

(3)利用训练集中的数据对时空交织行为识别网络模型进行网络训练，利用验证集中的数据评估模型，一旦找到最佳的参数，则保存最优模型；

(4)利用测试集中的数据对最优模型进行测试。

2.根据权利要求1所述的方法，其特征在于，所述步骤(1)包括：

对视频帧从五个预定义的位置进行随机裁剪，裁剪大小表示为H×W，其中高度H和宽度W都是16的倍数，五个预定义的位置为视频帧的四个角和一个中心点；

以一定的概率对所获得的视频帧进行随机水平翻转；

对数据集中每个类的样本按照8：1：1的比例进行训练集、验证集和测试集的划分。

3.根据权利要求1所述的方法，其特征在于，所述基网络通过卷积核为3×7×7的卷积操作对输入视频帧进行基特征的学习。

4.根据权利要求1所述的方法，其特征在于，所述交互特征协同模块对基特征的处理包括：

输入特征首先经过一个3×3×3的全3D卷积层，将输出G^l再送入1×1×1的卷积层，然后再将输出与其原始输入沿通道维度进行拼接，具体公式为其中，G^l、分别表示1×1×1卷积层的原始输入与输出，||表示拼接操作；

将特征F₁分别送到1×3×3的空间伪3D卷积层和3×1×1的时间伪3D卷积层，将这两个卷积层的输出与进行拼接，并进行细化操作：其中，f[·]表示细化操作，和分别表示空间和时间伪3D卷积操作。

5.根据权利要求1所述的方法，其特征在于，并行增强伪3D模块包括第一并行增强伪3D模块和第二并行增强伪3D模块，所述第一并行增强伪3D模块对时空特征进行增强包括：将输入特征F^l分别送到1×3×3空间伪3D卷积层和3×1×1时间伪3D卷积层，然后将这两个时空卷积层的输出与F^l进行拼接，并进行细化操作：其中，g₁[·]表示第一细化操作，具体为使用1×1×1卷积层将其通道数减为原来的1/3，分别表示时间和空间伪3D卷积层的输出；

所述第二并行增强伪3D模块对时空特征进行增强包括：将输入特征F^l分别送到两层堆叠的1×3×3空间伪3D卷积层和两层堆叠的3×1×1时间伪3D卷积层，之后将最后一层时空卷积层的输出进行拼接，并进行细化操作：其中，分别表示输出的增强后的时空特征，g₂[·]表示第二细化操作，具体为使用1×1×1卷积层将其通道数减为原来的1/2。

6.根据权利要求5所述的方法，其特征在于，所述时空交织行为识别网络模型结构为基网络-最大池化层-交互特征协同模块-第一并行增强伪3D模块-最大池化层-交互特征协同模块-第一并行增强伪3D模块-最大池化层-第二并行增强伪3D模块-第二并行增强伪3D模块-时空差分注意力模块-分类器。