[发明专利]基于多目标跟踪的行为识别轻量化方法、系统、设备

权利要求书

1.一种基于多目标跟踪的行为识别轻量化方法，其特征在于，该方法包括：

S10，获取输入视频中t时刻的图像帧，作为输入图像；

S20，通过目标检测算法对所述输入图像中进行目标检测，获取多个检测目标分别对应的检测框作为目标检测框；并提取各目标检测框的特征，作为第一特征；

S30，利用卡尔曼滤波算法预测t-1时刻各追踪到的目标在t时刻图像帧中对应的检测框，并提取各检测框的特征，作为第二特征；通过特征匹配算法对各第一特征、第二特征进行匹配，获取视频中每个目标的跟踪序列；

S40，对各目标的跟踪序列，通过预构建的行为分类模型获取其对应的行为分类结果；

其中，所述行为分类模型基于2D卷积神经网络构建，包括三个卷积池化层和两个全连接层；

所述行为分类模型，其损失函数L_Softmax为：

其中，y表示当前样本的行为分类真值标签，Z_i表示行为分类模型提取到的属于第i类的特征值，C表示分类的类别个数；

所述行为分类模型，其训练方法为：

A10，按时序信息获取视频数据集中视频数据的各帧图像，构建帧图像序列；

A20，通过目标检测算法获取所述帧图像序列各帧图像中每个目标的检测框作为目标检测框；并提取各目标检测框的特征，作为第一特征；

A30，利用卡尔曼滤波算法预测上一帧中各追踪到的目标在当前帧中的检测框，并提取各检测框的特征，作为第二特征；通过特征匹配算法各第一特征、第二特征进行匹配，得到视频中每个目标的跟踪序列；

A40，对所述跟踪序列进行剪裁得到以各目标为中心的连续帧；

A50，对每个目标跟踪序列进行行为连续帧的挑选，按照行为类型对其进行分类，进而得到行为真值标签下不同目标的连续帧序列；

A60，对所述连续帧序列，随机获取连续N帧，并进行预处理，将预处理后的帧图像进行图像时序拼接操作；

A70，将拼接后的帧图像输入预构建的行为分类模型，获取行为分类结果；

A80，基于行为分类预测结果、行为分类真值标签，计算损失值，并更新行为分类模型的模型参数；

A90，循环执行步骤A10-A80，直至得到训练好的行为分类模型。

2.根据权利要求1所述的基于多目标跟踪的行为识别轻量化方法，其特征在于，所述预处理，其方法为：对各帧图像进行像素调整、归一化以及中心剪裁处理。

3.根据权利要求1所述的基于多目标跟踪的行为识别轻量化方法，其特征在于，“通过特征匹配算法对各第一特征、第二特征进行匹配，获得视频中每个目标的跟踪序列”，其方法为：

通过特征匹配算法将各第一特征、第二特征进行匹配，匹配后，将匹配相似度最大的预测检测框作为目标在当前帧中的追踪位置，进而获得视频中每个目标的跟踪序列。

4.根据权利要求2所述的基于多目标跟踪的行为识别轻量化方法，其特征在于，所述行为分类模型在训练过程中，采用反向传播算法和随机梯度下降法进行梯度优化。