[发明专利]一种基于多个视频的自动目标跟踪和轨迹计算的方法

说明书

本发明公开了一种基于多个视频的自动目标跟踪和轨迹计算的方法，属于计算机视觉处理技术领域。一种基于多个视频的自动目标跟踪和轨迹计算的方法，包括以下步骤：摄像机参数计算和三维重建，3D场景模型的定义和参数训练，目标人物识别和轨迹重建。本发明可快速重建视频内所有行人的3D模型，利用SPM模型对每个人及其行动轨迹进行参数化，再通过计算出的参数从外形和姿势两个方面进行比较和配准，完成目标对象的识别和路径计算。

技术领域

本发明涉及计算机视觉处理技术领域，尤其涉及一种基于多个视频的自动目标跟踪和轨迹计算的方法。

背景技术

目标跟踪和轨迹计算，在刑侦、智能监控以及智能交通等方面都有着极其重要的应用价值。传统的方法，需要在海量的监控视频中搜寻目标对象并测算行为轨迹，需要耗费大量的人力，并且错查、漏查层出不穷。

目前常用的方法有两类：

(1)行人重识别：也称行人再识别，是利用计算机视觉技术判断图像或者单个视频中是否存在特定行人的技术。但该技术有很大的局限性，首先不能在多个视频之间进行目标跟踪；其次目前目标跟踪环境复杂多变、目标发生非刚性形变、目标被遮挡、目标尺度变换等多个问题，用行人重识别方法跟丢跟错现象经常发生；最后，该方法基于二维图像，并不能计算出目标对象在多个三维场景中的行为轨迹。

(2)基于传感器的目标感知和追踪技术：这种方法可以通过部署特定传感器(例如3DiDAR)，来生成目标对象的3D点云模型，并完成跟踪和轨迹计算。这种方法需要安装昂贵的传感器，无法大规模应用，并且生成的数据包含大量冗余信息，影响跟踪效率。

所以，急需一种可以自动在大量监控视频中搜寻，并且进行目标跟踪和轨迹计算的方法。

发明内容

本发明的目的在于，提出一种基于多个视频的自动目标跟踪和轨迹计算的方法，通过基于参数化的场景表示方法，对目标视频序列进行3D重建，快速重建出视频内所有行人的3D模型，然后对每个人及其行动轨迹进行参数化，再通过计算出的参数从外形和姿势两个方面进行比较和配准，进而完成目标对象的识别和路径计算。

为了实现上述目的，本发明采用了如下技术方案：

一种基于多个视频的自动目标跟踪和轨迹计算的方法，包括以下步骤：

S1：摄像机参数计算和三维重建：计算摄像机的变换矩阵K和深度值λ，完成对每个摄像机的K和λ的计算后，选择目标对象，对目标对象进行3D面模型重建；

S2：3D场景模型的定义和参数训练：对包含摄像机、行人和行人轨迹的场景进行参数化，设置参数化的基于机器学习的3D场景模型，对3D场景模型进行训练；

S3：目标人物识别和轨迹重建：生成多个场景的模型，对其中的目标对象进行识别，目标对象坐标加入模型，完成轨迹计算。

优选的，在步骤S1，计算变换矩阵K和深度值λ中，图像中的点由向量(x_p y_p 1)^T表示，三维空间中点由向量(x_w y_w z_w)^T表示，

其中，包含m_x和m_y的矩阵，将图像平面坐标映射到摄像机图像上，m_x和m_y表示像素缩放因子，s表示倾斜因子，x₀和y₀表示特征点座标；包含f的矩阵，为摄像机的参数矩阵，f为镜头焦距；包含r和t的矩阵，为摄像机的空间变换矩阵，r为摄像机的旋转参数，t为摄像机的平移参数。

优选的，在步骤S1中通过一种基于长短期记忆(lstm)和卷积神经网络(cnn)的方法计算K和λ。