[发明专利]基于多目标跟踪的行为识别轻量化方法、系统、设备

说明书

本发明属于计算机视觉领域，具体涉及一种基于多目标跟踪的行为识别轻量化方法、系统、设备，旨在解决现有行为识别方法无法直接识别多目标视频数据中每个个体行为的问题。本发明方法包括：获取输入视频中t时刻的图像帧，作为输入图像；获取多个检测目标分别对应的检测框作为目标检测框；并提取各目标检测框的特征，作为第一特征；利用卡尔曼滤波算法预测t‑1时刻各追踪到的目标在t时刻图像帧中对应的检测框，并提取各检测框的特征，作为第二特征；将第一特征、第二特征进行匹配，获得视频中每个目标的跟踪序列；对各目标的跟踪序列，通过预构建的行为分类模型获取其对应的行为分类结果。本发明实现了多目标视频数据中每个个体行为的识别。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于多目标跟踪的行为识别轻量化方法、系统、设备。

背景技术

行为识别因其在视频监控、虚拟现实、人机智能交互等领域的广泛应用而成为计算机视觉领域的研究热点，目前主流的行为识别都是基于单目标的视频数据，很少有基于多目标视频数据的行为识别。然而在实际生活中，视频数据中只包含单目标是极少数的情况，而且，涉及多个目标的行为识别，即在每一帧的视频数据中需要调用多次行为识别算法，这就对涉及模型的规模提出了更高的要求。基于此，本发明在多目标跟踪技术的基础上引入行为识别方法，提出了一种基于多目标跟踪的行为识别轻量化方法。

发明内容

为了解决现有技术中的上述问题，即为了解决现有行为识别方法无法直接识别多目标视频数据中每个个体行为的问题，本发明提出了一种基于多目标跟踪的行为识别轻量化方法，该方法包括：

S10，获取输入视频中t时刻的图像帧，作为输入图像；

S20，通过目标检测算法对所述输入图像中进行目标检测，获取多个检测目标分别对应的检测框作为目标检测框；并提取各目标检测框的特征，作为第一特征；

S30，利用卡尔曼滤波算法预测t-1时刻各追踪到的目标在时刻图像帧中对应的检测框，并提取各检测框的特征，作为第二特征；通过特征匹配算法对各第一特征、第二特征进行匹配，获得视频中每个目标的跟踪序列；

S40，对各目标的跟踪序列，通过预构建的行为分类模型获取其对应的行为分类结果；

其中，所述行为分类模型基于2D卷积神经网络构建，包括三个卷积池化层和两个全连接层。

在一些优选的实施方式中，所述行为分类模型，其训练方法为：

A10，按时序信息获取视频数据集中视频数据的各帧图像，构建帧图像序列；

A20，通过目标检测算法获取所述帧图像序列各帧图像中每个目标的检测框作为目标检测框；并提取各目标检测框的特征，作为第一特征；

A30，利用卡尔曼滤波算法预测上一帧中各追踪到的目标在当前帧中的检测框，并提取各检测框的特征，作为第二特征；通过特征匹配算法各第一特征、第二特征进行匹配，获得视频中每个目标的跟踪序列；

A40，对所述跟踪序列进行剪裁得到以各目标为中心的连续帧；

A50，对每个目标跟踪序列进行行为连续帧的挑选，按照行为类型对其进行分类，进而得到行为真值标签下不同目标的连续帧序列；

A60，对所述连续帧序列，随机获取连续N帧，并进行预处理，将预处理后的帧图像进行图像时序拼接操作；

A70，将拼接后的帧图像输入预构建的行为分类模型，获取行为分类结果；

A80，基于行为分类预测结果、行为分类真值标签，计算损失值，并更新行为分类模型的模型参数；

A90，循环执行步骤A10-A80，直至得到训练好的行为分类模型。