[发明专利]一种基于多个视频的自动目标跟踪和轨迹计算的方法

权利要求书

1.一种基于多个视频的自动目标跟踪和轨迹计算的方法，其特征在于，包括以下步骤：

S1：摄像机参数计算和三维重建：计算摄像机的变换矩阵K和深度值λ，完成对每个摄像机的K和λ的计算后，选择目标对象，对目标对象进行3D面模型重建；

S2：3D场景模型的定义和参数训练：对包含摄像机、行人和行人轨迹的场景进行参数化，设置参数化的基于机器学习的3D场景模型，对3D场景模型进行训练；

S3：目标人物识别和轨迹重建：生成多个场景的模型，对其中的目标对象进行识别，目标对象坐标加入模型，完成轨迹计算；

其中：

在步骤S1，计算变换矩阵K和深度值λ中，图像中的点由向量(x_p y_p 1)^T表示，三维空间中点由向量(x_w y_w z_w)^T表示，

其中，包含m_x和m_y的矩阵，将图像平面坐标映射到摄像机图像上，m_x和m_y表示像素缩放因子，s表示倾斜因子，x₀和y₀表示特征点座标；包含f的矩阵，为摄像机的参数矩阵，f为镜头焦距；包含r和t的矩阵，为摄像机的空间变换矩阵，r为摄像机的旋转参数，t为摄像机的平移参数；

3D场景模型公式

其中，H为包含姿势和骨骼信息的人体三维模型，T为标准人体外形三维模型，B_S为场景中人物的外形相对与标准人体外形的增量值，为由人体外形参数构成的向量，ID为场景中人物个体的标识符，P为由骨骼组成的骨架，为骨骼节点的空间变换向量，W为骨骼权重，L为轨迹向量。

2.根据权利要求1所述的一种基于多个视频的自动目标跟踪和轨迹计算的方法，其特征在于，在步骤S1中设置一种基于长短期记忆lstm和卷积神经网络cnn的方法计算K和λ。

3.根据权利要求2所述的一种基于多个视频的自动目标跟踪和轨迹计算的方法，其特征在于，一种基于长短期记忆lstm和卷积神经网络cnn的方法，具体包括以下步骤：

S101：从任意视频中选取一个固定物体作为辅助对象，获取该对象不同角度的图像，输入神经网络；神经网络由2d卷积神经网络2d-cnn、3d卷积lstm 3d-lstm、3d反卷积神经网络3d-dcnn三部分组成；

S102：2d卷积神经网络2d-cnn抽取图像序列的低维特征；

S103：将步骤S102的输出结果输入到3d卷积lstm 3d-lstm单元；

S104：3d反卷积神经网络3d-dcnn解码3d卷积lstm 3d-lstm单元的隐状态，生成重建的3D模型和估算的K和λ；

S105：重新选择一个目标对象，重复步骤S101-S104的过程，得到新目标的3D模型和估算的K和λ；

S106：对若干个模型完成的重建和K、λ，交叉验证；

S107：完成对每个摄像机的K和λ的计算后，选择目标对象进行3D面模型重建。

4.根据权利要求3所述的一种基于多个视频的自动目标跟踪和轨迹计算的方法，其特征在于，所述的3d卷积lstm3d-lstm单元由四个部分组成：

存储器，包括一个存储细胞和一个隐藏层；

输入门，控制数据从输入端到隐状态；

输出门，控制数据从隐状态到输出门；

忘记门，从前次隐状态切换至当前隐状态。

5.根据权利要求3所述的一种基于多个视频的自动目标跟踪和轨迹计算的方法，其特征在于，在步骤S106中，交叉验证

o_j＝λ^-1K_iO_j；

其中，K_i表示第i个目标计算得到的K和λ，O_j表示第j个目标的3D重建模型的顶点集合；公式中计算出第j个目标的图像o_j，与第j个目标的摄像机采集画面进行比较验证，确定K_i和λ_i的精度。

6.根据权利要求1所述的一种基于多个视频的自动目标跟踪和轨迹计算的方法，其特征在于，对3D场景模型进行训练的具体过程，包括以下步骤：

S2001：采集训练素材；

S2002：确定训练参数；

S2003：训练姿势相关的参数；

S2004：训练形状相关的参数。