[发明专利]一种无人机视频多目标跟踪方法

权利要求书

1.一种无人机视频多目标跟踪方法，其特征在于，该方法具体包括以下步骤：

S1：获取图像检测结果，并利用前后帧目标间的位置和大小信息对轨迹进行初始化；

S2：对轨迹的位置状态进行预测，具体包括：根据轨迹管理中所获得的轨迹的曲线函数表达式，进而拟合曲线表达式对下一时刻状态进行预测，并结合一步预测对轨迹的位置状态进行预测，其中一步预测假设目标运动状态为匀速直线运动，定义匀速直线运动卡尔曼滤波状态转移矩阵，最后通过从轨迹管理中得到的曲线预测的置信度，将基于一步预测的状态预测和基于曲线拟合的状态预测进行线性融合，获得轨迹预测位置；

S3：采用薄板样条插值配准算法对轨迹和量测进行配准关联一体化，迭代求解轨迹与量测的对应关系；

S4：将轨迹与量测的对应关系和变换后的轨迹引入卡尔曼状态方程，并对未匹配的轨迹和量测进行再次匹配；具体包括：将配准关联一体化方法求解变换后的轨迹，代入卡尔曼状态预测方程中，根据获得的对应关系更新对应轨迹卡尔曼状态，同时对于上一时刻未匹配的轨迹，利用其轨迹历史运动状态预测当前时刻状态，然后再次将其与当前时刻未匹配量测带入配准关联一体化步骤中进行关联；

S5：建立一种轨迹管理方法，更新轨迹状态并构建轨迹曲线表达式，处理轨迹的初始和终止、误检删除、漏检恢复、轨迹平滑；具体包括以下步骤：

S51：按照对应关系并基于卡尔曼滤波更新方程对轨迹位置进行更新，利用轨迹框宽高和对应量测框宽高的平均对轨迹大小进行更新，按照对应量测外观更新轨迹外观；

S52：保存轨迹历史运动信息，对历史轨迹位置进行线性拟合，构建曲线的数学表达式，并建立表达式的相应置信度，若曲线连续拟合超过一定帧数且曲线较为平滑，则将该曲线表达式设定高置信度；

S53：建立轨迹与量测状态的判别方法，若轨迹位置超出图像边界或轨迹连续三帧未匹配上对应量测，则判断该轨迹终止，若量测连续三帧没有对应关系，判定其为误检，将其删除；若轨迹部分帧未匹配上，则轨迹存在漏检，利用漏检帧的前后帧位置的平均对漏检位置进行恢复；最后，将判定状态为终止的轨迹利用多项式平滑算法对轨迹进行平滑操作。

2.根据权利要求1所述的无人机视频多目标跟踪方法，其特征在于，步骤S1具体包括：通过所获取的图像检测结果，对视频初始前5帧图像检测结果进行初始化轨迹操作，利用前后两帧量测之间的位置邻近度和大小信息计算相似度成本矩阵，并通过设定相应阈值判断目标间是否相似，从而相互关联。

3.根据权利要求1所述的无人机视频多目标跟踪方法，其特征在于，步骤S3具体包括以下步骤：

S31：获取待匹配的轨迹与量测，取目标矩形框表示的中心点位置定义预测轨迹点阵为x＝{x_i,i＝1,…,n}和目标量测点阵为y＝{y_j,j＝1,…,m}；

S32：计算预测轨迹x_i与量测y_j之间的外观差异矩阵通过采用预训练深度特征网络VGG19，去掉其全连接层，提取轨迹与量测的conv3-4，conv4-4，conv5-4的深度卷积特征图，并提取目标的方向梯度直方图特征，利用线性组合的方式将特征进行融合，获得目标轨迹和目标量测的图像特征向量，并利用双线性相似性度量方法计算轨迹与量测的外观相似度，对相似度矩阵取负对数得到外观差异矩阵

S33：计算预测轨迹x_i与量测y_j之间的大小差异矩阵通过获取轨迹与量测的宽和高，求取目标轨迹与目标量测之间的面积，计算轨迹与量测之间的宽度相似度，长度相似度，面积相似度，通过线性组合获得其大小相似度矩阵，对相似度矩阵取负对数得到大小差异矩阵

S34：计算预测轨迹x_i与量测y_j之间的运动差异矩阵通过计算轨迹与量测间的欧式距离，获得运动差异矩阵

S35：获得外观、大小、运动差异矩阵后，通过线性组合融合外观、大小及运动差异矩阵，获得混合特征差异矩阵然后构建轨迹与量测之间的空间变换函数f(x_i)；

S36：基于混合特征差异矩阵和空间变换函数构建轨迹与量测之间的配准关联一体化目标函数；

S37：利用线性分配算法及正交三角分解，迭代求解配准关联一体化目标函数，直至轨迹与量测的平均距离小于相应阈值，获取轨迹和量测之间最优的对应关系矩阵。