[发明专利]基于相关滤波以及深度孪生网络的鲁棒长程目标跟踪方法

摘要

基于相关滤波以及深度孪生网络的鲁棒长程目标跟踪方法，涉及计算机视觉技术。通过将相关滤波以及深度孪生网络结合在一个统一的跟踪框架下，能够有效处理长视频中目标遮挡、消失视野等挑战。在该跟踪方法中，所提出的基于D‑expert以及C‑expert的专家评估机制能有效地对相关滤波以及深度孪生网络共同产生的目标候选位置进行评估筛选，得到最佳的目标跟踪结果，使用该结果来更新相关滤波跟踪器，从而有效避免了相关滤波跟踪器被错误样本更新。提出的目标跟踪方法对长视频中的各类挑战较为鲁棒，能够长时间稳定跟踪目标。

主权项

1.基于相关滤波以及深度孪生网络的鲁棒长程目标跟踪方法，其特征在于包括以下步骤：1)给定一帧训练视频，以目标为中心划定训练区域，该训练区域完全包含目标以及部分的背景区域；2)使用预训练好的VGG‑Net‑19模型对步骤1)中得到的训练区域提取CNN特征；3)使用步骤2)中得到的CNN特征训练相关滤波模型，公式(1)如下：其中，λ为正则化参数，y(m,n)是一个连续性的高斯标签，其中σ表示线性核的带宽，公式(1)是一个典型的岭回归，求解得：其中，为训练得到的相关滤波模型，为的共轭，和Y分别为以及高斯标签y的离散傅里叶变换，为点乘运算；4)给定一帧测试视频，利用训练好的相关滤波模型对搜索区域进行响应，得到响应图，响应图中响应值最大的位置确定为目标初始位置；5)在测试视频中，以上一帧目标为中心，构建搜索尺度金字塔；6)使用预训练好的深度孪生网络，以第一帧视频中的目标为模板，在步骤5)中得到的每个尺度上进行模板的匹配，得到每个尺度下置信度最高的候选目标位置，并以置信度进行排序，得到置信度最高的K个候选目标位置，计算过程如下：其中，o为目标模板，S(,)为深度孪生网络离线学习得到的相似性度量函数，度量结果返回为相似性图，记为目标模板在q搜索尺度下的最佳相似性值，对进行排序，得到前K个候选目标位置，记为集合令集合U用以表示所有候选目标位置，则7)使用基于深度相似性的D‑expert对步骤6)中得到的候选目标位置进行评估，得到最佳候选目标位置；8)使用基于相关滤波的C‑expert分别对步骤3)中得到的目标位置以及步骤6)中得到的最佳候选目标位置进行评估，得到最佳目标跟踪结果，完成跟踪；C‑expert使用两个相关滤波模型来进行评估，记为和前者仅在第一帧视频进行训练，保留原有的目标模型，后者在整个跟踪过程中都有训练更新，考虑物体的形变；令R_t(m,n)和R₁(m,n)分别表示相关滤波模型及在位置(m,n)处的响应值；C‑expert对相关滤波模型估计的目标位置以及深度孪生网络搜索得到的最佳目标位置进行评估：其中，r_C为C‑expert的评估值；若r_C为1，则选择为最终跟踪结果；否则，作为最终跟踪结果；若表明深度孪生网络搜索得到的最佳位置考虑更多物体的形变，更为可靠；若则表明相关滤波模型很可能已经被错误的更新，深度孪生网络得到的结果在中有更高的响应值，置信度更高，因此选择此结果作为最终跟踪结果。