[发明专利]大场景多目标协同跟踪方法、智能监控系统、交通系统

权利要求书

1.一种大场景多目标协同跟踪方法，其特征在于，所述大场景多目标协同跟踪方法采用主从相机结构，主机为固定广角摄像机即枪机，从机为高分辨率可变焦球机即球机；枪机监控整个大场景区域，并对区域进行目标检测跟踪，当枪机画面中目标存在可能的交错时，枪机控制球机转动到该区域，获取目标高清图像，通过球机对目标进行细化检测，根据枪机和球机间关系矩阵将球机画面检测信息映射到枪机画面，将目标交错区域重新分割，实现协同跟踪；

所述大场景多目标协同跟踪方法包括以下步骤：

步骤一，前后两帧目标图像，根据前一帧图像所有目标的质心和后一帧图像目标框的位置关系，将目标间关系分为目标交错，目标可能交错，目标不交错；

前一帧目标质心在后一帧目标框中数量，若这个数量大于1，则认为该区域存在目标交错；若这个数量等于1，判断目标间是否可能存在交错趋势：计算目标检测框之间的最小距离，同时利用轨迹预测得到目标的运动大小和方向，若目标间距离小于D且目标运动是相互靠拢，则认为目标可能交错，否则为目标不交错；

步骤二，根据三种状态设置优先级，目标交错为第一优先级，目标可能交错为第二优先级，目标不交错为第三优先级；

所述步骤一具体包括：前后两帧目标图像B_iB_i+1，记录B_i所有目标的质心(x_i，y_i)，判断B_i质心(x_i，y_i)与B_i+1目标框的位置；B_i质心在B_i+1目标框中数量M，若M＞1则认为该区域存在目标交错；若M＝1，判断目标间是否可能存在交错趋势：计算目标检测框之间最小距离，卡尔曼滤波轨迹预测法得到目标的运动大小v和方向，若目标间距离小于D且目标运动是相互靠拢，则认为目标间可能交错，否则为目标不交错，D取值范围[10v，20v]；

所述步骤二具体包括：

枪机根据优先级控制球机转动到该区域，使枪机画面目标的某像素坐标(x₀，y₀)在球机画面中心，同时将球机进行放大，获取该区域高清目标图像；若枪机画面目标交错即第一优先级，枪机控制球机转动到该区域；若枪机画面目标可能交错即第二优先级，枪机控制球机转动到该区域；否则枪机控制球机不转动；

根据枪机和球机关系矩阵P，将球机画面检测信息映射到枪机区域，更新枪机该区域的目标检测信息；球机画面中目标检测框的长宽w₁、h₁，球机缩放倍数z₂，根据枪机和球机关系模块计算出枪机和球机间关系矩阵[W H Z]，其中W、H分别是该目标在枪机和球机画面的长宽比例，Z是缩放倍数，目标在枪机画面长宽分别为w₂、h₂，则w₂＝w₁/W/z₂，h₂＝h₁/H/z₂；对球机高清画面中对应的枪机目标交错区域处理，将该区域复制到长宽分别为w₁、h₁的图像B1上同时根据坐标变换关系转换检测框信息；将B1按比例缩放到长宽w₂、h₂，得到图像B2，同时将检测框信息按比例变换，B2区域中心和枪机画面坐标(x₀，y₀)对应，将B2计算的检测框变换到枪机区域，实现了区域目标重检测，得到新的检测框信息，更新检测结果；

利用检测的目标信息，采用卡尔曼滤波轨迹预测跟踪方法确定跟踪目标位置，卡尔曼滤波器轨迹预测跟踪：卡尔曼滤波器的状态定义为跟踪目标的质心位置和质心像素偏移目标不交错时采用枪机检测作为B_i质心(x_i，y_i)，目标交错时采用球机检测后反算出的检测作为B_i质心(x_i，y_i)，上一时刻质心偏移量(dx_i-1，dy_i-1)，前后三帧图像B_i-1B_iB_i+1，i+1时刻状态预测方程和观测方程分别为：X′_i+1＝AX_i+W_i，矫正后的状态矩阵，X_i+1＝X′_i+1+K_i(Z_i+1-HX′_i+1)，H为观测矩阵，A为状态转移矩阵，K_i为Kalman增益，W_i、N_i分别为状态和观测对应的噪声序列阵，X_i＝(x_i，y_i，dx_i-1，dy_i-1)^T，具体公式如下：

使用卡尔曼滤波器将X′_i+1的值更新为X_i+1。