[发明专利]一种相似度计算方法和多目标跟踪方法

权利要求书

1.一种用于多目标跟踪的相似度计算方法，其特征在于，包括：

对于每一视频帧中每个目标，计算目标的近邻，再利用目标与其近邻的目标外观特征构建顶点集合，利用目标之间的相互关系计算出有向边集合，从而构建一个有向图。

对于相邻视频帧，利用两个视频帧中各目标的有向图进行匹配计算，获得相似度计算结果。

2.根据权利要求1所述用于多目标跟踪的相似度计算方法，其特征在于，对于第t帧中的目标集合表示为其中，第i个目标表示为表示第i个目标的位置框，其中的四个元素分别为第i个目标的左上角的坐标、位置框的宽、高；表示根据位置框在第t帧中截取的图片块，I_t表示第t帧中目标的个数。

3.根据权利要求2所述用于多目标跟踪的相似度计算方法，其特征在于，根据目标之间的距离，来获取目标的K近邻，K为近邻总数；对于第t帧，以第i个目标为锚点，将目标作为其自身的第0近邻，则目标及其近邻构成集合其中，是目标的第k近邻。

4.根据权利要求3所述用于多目标跟踪的相似度计算方法，其特征在于，对于第t帧中第i个目标构建的有向图表示为其中，顶点集合定义如下：

式中，表示的外观特征，φ_ACNN(·)表示用来提取外观特征的卷积神经网络的前传函数。

对于有向边集合首先，用表示锚点与其近邻之间的相对位置向量：

式中，w^t和h^t是第t帧的宽和高，φ_RP(·,·)是基于位置框计算目标之间相对位置的函数。

利用相对位置编码器对相对位置向量进行变换，得到从而得到有向边集合

式中，φ_RPE(·)是相对位置编码器。

5.根据权利要求4所述用于多目标跟踪的相似度计算方法，其特征在于，利用两个视频帧中各目标的有向图进行硬匹配，包括：

对于相邻视频帧，第t-1帧与第t帧，给定两个目标的有向图和首先，计算一个相似度矩阵矩阵中第k行和第k’列的元素计算如下：

式中，表示特征向量之间元素相减，|·|²表示对向量中的元素取平方，[·,·]表示将两个向量拼接起来，φ_BC(·)表示二分类器的前传函数。

最终，得到：

6.根据权利要求5所述用于多目标跟踪的相似度计算方法，其特征在于，利用两个视频帧中各目标的有向图进行软匹配，包括：

在硬匹配的基础上，先进行近邻对齐，再计算相似度，表示为：

式中，是相似度矩阵S_i,j去掉第一行和第一列之后得到的矩阵；φ_LA(·)是一个线性分配函数，用于根据输入的相似度矩阵，完成任务分配并返回最大的总相似度和。

7.一种多目标跟踪方法，其特征在于，将权利要求1～6任一项所述方法应用到已有的基于数据关联的多目标跟踪方法中，替换其中的相似度模型。

8.根据权利要求7所述多目标跟踪方法，其特征在于，包括：利用上一帧的信息找回当前帧中丢失的目标，步骤如下：

对于第t-1帧中的第i个目标如果在第t帧丢失，则利用第i个目标与其第k近邻间的相对位置以及的位置，估计第t帧中第i个目标的位置框

式中，表示φ_RP(·,·的逆函数，φ_RP(·,·)是基于位置框计算目标之间相对位置的函数；表示在第t帧中对应的目标。

对于第i个目标的所有K个近邻都通过上述方式估计第t帧中第i个目标的位置框，通过求平均的方式计算第t帧中第i个目标最终的位置框

9.根据权利要求8所述多目标跟踪方法，其特征在于，获得第t帧中第i个目标最终的位置框后，基于通过高斯分布采样若干候选框。

对于采样到的任一候选框利用表示在第t帧中的一个候选目标，表示根据位置框在第t-1帧中截取的图片块，并构建一个有向图然后求出图与之间的相似度。

在所有候选检测结果中，取出相似度得分最高的候选检测结果，如果该相似度得分大于设定的阈值，则将得分最高的候选目标作为在第t帧中的跟踪结果。