[发明专利]多层次约束的多目标追踪算法

摘要

本发明提供了一种基于多层次约束的多目标追踪算法，首先使用简单的策略快速得到追踪片段，然后利用视觉信息对所有的追踪片段进行修正、分割，再将上述结果转化为关于追踪片段的图模型并求解，对求解得到的结果使用高层语义信息进一步修正，得到最终的追踪目标轨迹。本发明充分利用了追踪目标的视觉特性，由浅到深，层层约束，解决了现有方法难以充分利用视觉特性而造成的难以获取准确结果的问题，可以使追踪结果更为精确。

主权项

一种多层次约束的多目标追踪算法，其特征在于包括以下步骤：步骤一：生成追踪片段：将视频序列的检测结果转化为图模型，使用图模型算法求解，得到相应的追踪片段，具体为：步骤1：假定第i个检测物为xi＝(di,si,ai,ti)，其中，di表示检测物的位置，si表示尺度，ai表示视觉信息，ti表示检测物所处帧，i＝1,…,M，M为检测物个数；χ＝{xi}表示检测物的集合，表示第k条目标轨迹，k1,…,klk表示第k条轨迹所对应的检测物的序号，lk为第k条轨迹所包含的检测物的个数，T＝{Tk}表示轨迹的集合，k＝1,…,K，K为视频序列中目标总数；步骤2：根据最大化后验概率得到目标函数T*：T*=argmaxP(T|χ)=argmaxΠiP(xi|T)ΠTk∈TP(Tk)---(1)]]>其中，P(T|χ)表示使用检测物的集合得到一组轨迹的后验概率；P(xi|T)表示检测物xi存在于轨迹集合T的概率，P(Tk)表示轨迹Tk存在的概率；步骤3：根据P(xi|T)的特性以及检测器的准确率β，将其转化为：步骤4：假定追踪序列是马尔科夫链，Pentr表示马尔可夫链起始概率，Plink表示转化概率，Pexit表示转化概率，将步骤2中的P(Tk)转化为：P(Tk)=P({xk0,xk1,...,xklk})=Pentr(xk0)Plink(xk1|xk0)Plink(xk2|xk1)...Plink(xklk|xklk-1)Pexit(xklk)---(3)]]>步骤5：将公式(2)、(3)代入公式(1)，对公式(1)取对数，得到：logT*=argminTΣTk∈T-logP(Tk)+Σi-logP(xi|T)=argminTΣTk∈T(Cen,k0fen,k0+Σj=0lk-1Ckj,kj+1fkj,kj+1+Cex,klkfex,klk)+Σi=1M(-log(1-β)fi-logβ(1-fi))=argminTΣxk∈TCen,ifen,i+Σxi∈T,xj∈T,i≠jCi,jfi,j+Σxi∈TCex,ifex,i+Σxk∈TCifi---(4)]]>其中，Cen,i＝‑logPentr(xi)，Cex,i＝‑logPexit(xi)，Ci,j＝‑logPlink(xj|xi)，Cen,i、Cex,i、Ci,j、Ci、fen,i、fex,i、fi,j、fi即构成图模型；步骤6：对步骤5得到的图模型进行求解得到追踪片段，具体为：步骤a：按照cost(i)＝Cen,i+Ci对第一帧检测数据中所对应的节点进行初始化，i为节点序号，i＝1,…,M1，M1为第一帧检测数据中检测物的个数；步骤b：对后续节点按cost(i)＝Ci+min(ω,Cen,i)计算其cost(i)值，其中N(i)表示节点i可能的前驱节点集合，这里，i为后续检测数据对应的节点序号；所述的前驱节点根据前后两帧检测物的IOU进行判断，IOU大于等于0.3的为可能的前驱节点，IOU表示两帧检测物交集与并集的比率；步骤c：按步骤b遍历所有节点后，cost(i)值最小的节点及其前驱节点则对应着一条追踪片段，删去这条追踪片段对应的节点，对剩余节点重复步骤b，直至所有节点的cost(i)值大于等于阈值时，即得到所有的追踪片段；所述的阈值设置为18；步骤二：追踪片段的分割、修正：使用追踪片段的前5帧检测数据的特征值的均值为模板，计算模板与该追踪片段后续帧数据的特征值的余弦值作为相似性度量值，如果某一帧数据的相似性度量值小于阈值，就在当前位置将追踪片段分割成两段，对所有追踪片段重复此过程，直至所有相似性度量值均大于阈值，即得到所有可靠的追踪片段；这里所述的阈值等于前一帧数据的相似性度量值/1.25；步骤三：求解可靠追踪片段的图模型，得到最终目标轨迹，具体为：步骤1：设Fi、Fj分别表示第i个和第j个可靠追踪片段，Hl(Fi)、Hl(Fj)分别表示可靠追踪片段Fi和Fj的第l维视觉特征值，NH表示特征维数，根据追踪片段的视觉特性，按下式计算步骤二所得到的不同追踪片段之间的视觉相似度：affinityapp(Fi,Fj)=Σl=1NHHl(Fi)Hl(Fj)---(5)]]>步骤2：根据追踪片段的运动特性，按下式计算步骤二所得到的不同追踪片段的运动相似度affinitymot：affinitymot(Fi,Fj)=xik∩xjk+1xik∪xjk+1---(6)]]>其中，表示第i个追踪片段在第k帧的检测数据，k为追踪片段Fi最后一帧的帧数；步骤3：利用视觉相似度、运动相似度按下式计算不同追踪片段间总的相似度Ci,j：Ci,j＝affinityapp(Fi,Fj))affinitymot(Fi,Fj)               (7)步骤4：公式(1)转化下式：T*=argmaxP(T|χ)=argmaxΠiP(Fi|T)ΠTk∈TP(Tk)---(8)]]>其中，P(Fi|T)表示追踪片段Fi存在于轨迹集合T的概率；步骤5：由于Fi为可靠的追踪片段，P(Fi|T)≈1，假定追踪序列是马尔科夫链，则P(Tk)可以转化为下式：P(Tk)=P({Fk1,Fk2,...,Fkl})=Pentr(Fk1)(Πn=1l-1Plink(Fkn+1|Fkn))Pexit(Fk1)---(9)]]>步骤6：将公式(9)代入公式(8)，取对数，得到：logT*=argmin(ΣFi∈Tcisfis+ΣFi∈T,Fj∈T,i≠jci,jfi,j+ΣFi∈Tcitfit)---(10)]]>其中，ci,j＝‑logp(Fj|Fi)＝Ci,j，ci,j，fis，fit，fi,j即构成图模型；步骤7：利用迪杰斯特拉算法计算步骤6所得到图模型的最短路径，并利用链路分离算法对已得到的最短路径进行修正，重复此过程，直至大于等于阈值，即可得到最终的目标轨迹，这里的阈值设置为12。