[发明专利]一种基于空间一致性的多摄像机协同人物追踪系统及训练方法

权利要求书

1.一种基于空间一致性的多摄像机协同人物追踪方法，其特征在于，包括如下步骤：

步骤一、通过视频监控系统采集视频信息，并将所述视频信息输送至主机服务器；

步骤二、所述主机服务器对所述视频信息进行分析识别视频中是否有一个人物或者多个人物并进行标记形成人物特征信息，并将所述人物特征信息输送至中心服务器；

步骤三、所述中心服务器根据所述人物特征信息进行追踪分析得到分析报告并存储；

步骤四、客户端通过调取所述分析报告对监控范围内的行人进行实时监控追踪；

在所述步骤三中，进行追踪分析过程包括：

步骤3.1、根据行人ID及检测边框计算出地平线后，在所述地平线上确定行人移动速度；

步骤3.2、根据透视相机模型，计算出检测出的任务足点在视角3D空间中的坐标位置，利用不同视角下相同行人ID人物的足点计算各视角的转换矩阵，并统一到相同坐标系，对行人进行追踪；

在所述步骤3.1中，计算地平线过程包括：

利用同一视角下检测出的人物矩形框标，计算出头部坐标为y_head＝y，足底坐标为y_foot＝y+h；

利用任意两个矩形框的头部坐标计算出l_head＝A×A′，利用任意两个矩形框的足底坐标计算出l_foot＝B×B′；

利用l_head，l_foot计算出消失点v_i＝l_head×l_foot；

算出所有矩形框组合，计算出消失点集合{v_i}，利用线性回归计算出地平线l_∞；

其中，w表示矩形框的宽度，x表示矩形框左上点的横坐标，y表示矩形框左上点的纵坐标。

2.如权利要求1所述的基于空间一致性的多摄像机协同人物追踪方法，其特征在于，所述步骤二中还包括：分析视频中的人物移动是否超出了所述监控系统的采集范围。

3.如权利要求2所述的基于空间一致性的多摄像机协同人物追踪方法，其特征在于，在所述步骤二中，所述标记形成人物特征信息过程包括：

步骤2.1、采集行人各视角图像，通过行人检测神经网络模型获取行人边框；

步骤2.2、获取所述行人边框后，根据每个人物矩形边框所对应的图像，通过外观特征神经网络获取外观特征；

步骤2.3、获取所述外观特征后通过匹配算法分配检测出行人ID。

4.如权利要求3所述的基于空间一致性的多摄像机协同人物追踪方法，其特征在于，在所述步骤2.1中，所述行人检测神经网络模型公式为

{x_i，y_i，h_i，w_i，s_i}＝F_行人检测(I_i)；式中，中F_行人检测为人物检测神经网络，I_i为第i个视角下当前时刻的图像，x_i表示检测出的人物边框左上点的横坐标数组，y_i表示检测出边框左上点的纵坐标数组，h_i表示检测出边框长度数组，w_i表示检测出边框宽度数组，s_i表示检测出边框的分数数组；

在所述步骤2.2中，所述外观特征神经网络模型公式为

f_外观＝F_特征网络(I_p)；式中，F_特征网络为特征提取神经网络，I_p为第p个人物边框所对应的图像，f_外观为外观特征；

在所述步骤2.3中，所述匹配算法分配公式为

{ID_i}＝F_匹配({f_i})；式中，F_匹配为匹配函数，{f_i}为所检测出的人物图像所对应的特征，{ID_i}为所有特征所对应的行人ID。

5.如权利要求4所述的基于空间一致性的多摄像机协同人物追踪方法，其特征在于，在所述步骤3.2中，所述透视相机模型为[u，v，1]^T～P[X，Y，Z，1]^T；式中，[u，v]代表像素坐标，[X，Y，Z]表示3D世界坐标，P表示相机矩阵，P＝K[R|t]，其中相机内部参数f为焦距，t_Z为相机高度，相机外部参数，旋转矩阵R＝R_ZR_YR_X，其中α、β、γ分别代表X，Y，Z三个轴向的转角；以及

计算所述坐标位置的公式为所述坐标位置为p_foot-i＝(x_3d-i，y_3d-i，0)；W，H为所对应视角下的图像尺寸。