[发明专利]时空域行为的检测和跟踪方法、装置、存储介质及设备

说明书

本申请公开了一种时空域行为的检测和跟踪方法、装置、存储介质及设备，属于图像处理技术领域。方法包括：将视频中的视频帧添加到预定长度的队列中，直至队列中的视频帧的数量达到预定长度时得到一个视频帧序列；获取第一个视频帧中的各个目标对象的位置信息和跟踪标识；利用检测模型对位置信息、跟踪标识和视频帧序列进行处理，得到时空域特征矩阵；利用检测模型对时空域特征矩阵进行目标检测，得到最后一个视频帧中各个目标对象的位置信息和行为分类信息；利用检测模型对时空域特征矩阵进行跟踪检测，得到最后一个视频帧中各个目标对象的跟踪标识。本申请利用时空域特征矩阵进行目标检测和跟踪检测，在降低计算量的同时提升了目标跟踪的精度。

技术领域

本申请涉及图像处理技术领域，特别涉及一种时空域行为的检测和跟踪方法、装置、存储介质及设备。

背景技术

时空域行为的检测在行为识别领域的地位是非常重要的，在智能安防、无人驾驶等领域有着非常广泛的应用场景，在实际应用中，常常结合目标跟踪算法对特定目标对象的持续的行为进行统计和分析。

现有技术中是将时空域行为检测和目标跟踪算法独立为两个完全不同的任务。在进行目标跟踪时，基于检测框的目标检测是通过两帧之间的检测框交并比以及通过卡尔曼估计运动方向，此方法抵挡遮挡性能较差。基于视觉特征的目标检测是将人体的特征提取并缓存，与后续的人体特征做相似度比较，此方法可以抵挡遮挡等问题，但是无法抵挡相似服装(例如校服，统一制服)，同时计算量也较大，特征提取计算量与人数线性相关，比对计算量与人数指数相关。

发明内容

本申请提供了一种时空域行为的检测和跟踪方法、装置、存储介质及设备，用于解决在检测时空域行为的同时进行目标跟踪时，目标跟踪的精度较差且计算量较大的问题。所述技术方案如下：

一方面，提供了一种时空域行为的检测和跟踪方法，所述方法包括：

将从视频中提取出的视频帧依次添加到预定长度的队列中，直至所述队列中的视频帧的数量达到所述预定长度时得到一个视频帧序列；

获取第一个视频帧中的各个目标对象的位置信息和跟踪标识；

利用预先训练的检测模型对所述位置信息、所述跟踪标识和所述视频帧序列进行处理，得到时空域特征矩阵；

利用所述检测模型对所述时空域特征矩阵进行目标检测，得到最后一个视频帧中各个目标对象的位置信息和行为分类信息；

利用所述检测模型对所述时空域特征矩阵进行跟踪检测，得到最后一个视频帧中各个目标对象的跟踪标识。

在一种可能的实现方式中，所述利用预先训练的检测模型对所述位置信息、所述跟踪标识和所述视频帧序列进行处理，得到时空域特征矩阵，包括：

利用预先训练的检测模型对所述位置信息和所述跟踪标识生成注意力特征图和第一特征矩阵；

利用所述检测模型对所述注意力特征图和所述视频帧序列生成第二特征矩阵；

利用所述检测模型对所述第一特征矩阵和所述第二特征矩阵生成时空域特征矩阵。

在一种可能的实现方式中，所述利用预先训练的检测模型对所述位置信息和所述跟踪标识生成注意力特征图和第一特征矩阵，包括：

利用所述检测模型，根据高斯核对每个目标对象的位置信息和跟踪标识计算高斯分布，将所有目标对象的高斯分布的数值填充至元素为0的掩码矩阵中的对应位置处，得到注意力特征图，所述掩码矩阵的尺度与所述视频帧的尺度相同；

利用所述检测模型对所述位置信息和所述跟踪标识进行格式转换，利用全连接的线性层对转换后的特征矩阵进行处理，并在时间维度上采用重复操作将处理后的特征矩阵转换为第一特征矩阵。