[发明专利]基于运动特征增强和长时时序建模的考场作弊行为分析方法

权利要求书

1.基于运动特征增强和长时时序建模的考场作弊行为分析方法，其特征在于，包括以下步骤：

步骤A：收集考场监控视频数据，提取出其中的作弊行为片段并标注作弊类型标签，将每个样本的视频帧以图片的形式保存在同一个文件夹中；

步骤B：将运动特征加强模块插入到骨干网络，运动特征加强模块将会获得当前特征谱的每个通道的不同的权重，该权重作用到原始特征谱上将对原始的特征谱进行运动特征增强，长时时序建模模块将对不同帧的结果向量进行融合，实现长时时序的信息融合，完成行为识别模型的搭建；

步骤C：使用分段抽取的方式获得视频帧的采样序列，根据视频帧序列采用Xavier方法对分类模型进行初始化，基于分类模型的损失函数进行迭代到预设迭代次数，完成行为识别模型的训练；

步骤D：使用新的视频帧采样序列进行推理测试，基于训练好的行为识别模型得到最终的行为分类结果；

所述步骤B中的长时时序建模包括：

N个采样帧经过插入了特征加强模块后的骨干网络后获得N个d维结果向量{v₁,v₂…,v_N}，d表示的是行为的类别数量，对结果向量做长时时序建模，具体为：

p_i＝maxpool_{(N/i，1，i)}(v₁，v₂...，v_N) (5)

其中，类比于卷积操作，N/i表示核大小，1表示每次步长，i表示空洞率,所以经过多尺度的长时时序建模后，得到2N-1个d维的向量M＝{m₁,m₂,…,m_2N-1}，使用卷积核大小为d的1维卷积对每个向量进行卷积操作得到初始的注意力值S＝{s₁,s₂,…,s_2N-1},并通过全连接层对S做进一步的非线性变换得到最终注意力值w：

w＝softmax(w₂(σ(w₁S))) (6)

其中，σ为sigmoid函数；

进一步的将注意力值w和得到的M点乘:

M_out＝w⊙M (7)

对M_out在对应维度求均值，得到最终输出的预测向量P_out:

其中，j∈[1,d]。

2.根据权利要求1所述的基于运动特征增强和长时时序建模的考场作弊行为分析方法，其特征在于，所述步骤B中运动特征增强包括：

使用1×1卷积将特征谱的通道维数下降，将当前帧的特征谱z^r(t)和下个相邻帧的特征谱z^r(t+1)相减得到z^p(t)：

z^p(t)＝z^r(t)-z^r(t+1) (1)

将特征谱相减后得到的结果做全局平均池化得到初步的注意力值A^r(t)：

A^r(t)＝AvgPool(z^p(t)) (2)

将初步的注意力值A^r(t)通过1×1卷积做上采样操作得到A^r(t)，使其通道数恢复为与z^r(t)一致，并对其使用sigmoid函数进行归一化操作，使得注意力值的取值区间为[-1,1]:

A^p(t)＝2×Φ(A^r(t))-1 (3)

其中，Φ代表sigmoid函数，最终获得运动特征的注意力值A^p(t)；

将A^p(t)与原始注意力谱z^r(t)点乘，得到运动特征加强后的特征谱z^out(t)：

z^out(t)＝A^p(t)⊙z^r(t) (4)。