[发明专利]一种在线行为识别模型训练、检测方法及系统

权利要求书

1.一种在线行为识别模型训练、检测方法，其特征在于，包括以下步骤：

步骤1，将输入视频流输入至在线行为识别模型的空间Transformer特征提取网络，输出表征每一帧视觉特征的空间特征；

步骤2，基于步骤1获得的每一帧的空间特征，构建令牌特征序列；

步骤3，将步骤2获得的令牌特征序列输入至Transformer模型，使用Transformer模型的编码器来识别当前帧块f₀的行为，使用解码器来预测即将到来的未来的行为；

步骤4，计算整个行为识别模型最后的训练Loss，实施离线训练过程，训练结束后即得到在线行为识别模型；

步骤5，上述步骤结束后，当输入在线视频，在线行为识别模型就可以输出当前帧的行为类别。

2.根据权利要求1所述的在线行为识别模型训练、检测方法，其特征在于：

步骤1中，以如下公式表示输入视频流V，

式中：

f_t表示t时刻视频帧，

T表示t₀时刻前T个时刻，

空间Transformer需在大型图像数据集上完成预训练。

3.根据权利要求2所述的在线行为识别模型训练、检测方法，其特征在于：

步骤2具体包括：

步骤2.1，将步骤1获得的每一帧的空间特征，通过一个线性投影层映射到D维的特征空间，得到第一嵌入特征序列F，以如下公式表示：

式中：

token_t表示基于步骤1获得的每一帧的空间特征构成的令牌特征序列，其中t∈{0,…,-T}，

表示实数域；

步骤2.2，在第一嵌入特征序列F输入Transformer模型的编码器前，将可学习的加入步骤2.1获得的第一嵌入特征序列F，得到第二嵌入特征序列以如下公式表示，

式中：

Concact(·)表示将两个张量按照某一维度进行拼接的操作，

token_class表示分类特征头，用于学习与在线行为识别任务相关的全局判别特征；

步骤2.3，在第二嵌入特征序列的基础上额外嵌入位置编码，得到令牌特征序列X₀。

4.根据权利要求3所述的在线行为识别模型训练、检测方法，其特征在于：

步骤2.3中，将位置编码加入第二嵌入特征序列使其保持位置信息，得到令牌特征序列，以如下公式表示，

式中：

X₀表示令牌特征序列。

5.根据权利要求3或4所述的在线行为识别模型训练、检测方法，其特征在于：

步骤3具体包括：

步骤3.1，将步骤2获得的令牌特征序列输入至Transformer模型的编码器中；

步骤3.2，解码器用于预测当前时刻到未来l_d时刻的行为，其中解码器输入为未来1时刻到l_d时刻的视频帧令牌特征序列解码器输出为

步骤3.3，将编码器中与任务相关的特征与解码器中的池化预测特征连接起来，得到的特征经过一个全连接层和一个softmax操作进行动作分类，以如下公式表示，

式中：

Avg-pool表示平均池化操作，

W_c表示分类全连接层参数，

C为类别数量；

步骤3.4，除了估计的当前动作外，还输出下一个l_d时间步长的预测特征，由于离线训练时有未来信息，为了保证学习到好的特征表达，还对未来预测特征进行了有监督的训练，以如下公式表示，

式中：

表示下一个l_d时间步长的预测特征。

6.根据权利要求5所述的在线行为识别模型训练、检测方法，其特征在于：

步骤3中，编码器采用标准Transformer编码器结构，解码器采用标准Transformer解码器结构。