[发明专利]一种基于深度学习特征和点到集合距离度量学习的目标跟踪方法

说明书

本发明公开了一种基于深度学习特征和点到集合距离度量学习的目标跟踪方法，包括以下步骤：在跟踪的起始帧随机选取若干目标样本和背景样本；对目标样本进行目标样本特征提取，对背景样本进行背景样本特征提取；将提取的目标样本特征聚类成若干个目标模板集合，将提取的背景样本特征聚类成若干个背景模板集合；通过降低同类别样本间距离并增大不同样本间的距离来学习投影矩阵；根据高斯分布对后续帧进行目标候选采集；提取目标候选的特征，并使用投影矩阵将目标模板集合、背景模板集合和目标候选投影到共同的子空间；计算每个目标候选到所有目标模板集合的距离，距离之和作为每个目标候选的得分，最终的跟踪结果为距离最小的前若干个目标候选的平均值。

技术领域

本发明涉及图像处理和模式识别技术领域，尤其是一种基于深度学习特征和点到集合距离度量学习的目标跟踪方法。

背景技术

目标跟踪是计算机视觉领域的一个重要的研究方向，它在视频监控、虚拟现实、人机交互、自动驾驶等领域具有广泛应用。目前，判别式跟踪方法取得了较好的跟踪结果。大部分判别式跟踪方法将目标跟踪看作一个分类任务，在第一帧选取目标样本和背景样本训练一个SVM分类器；对于后续帧，在每一帧中采集若干目标候选，每一个目标候选被分类器分为目标或背景；具有最大目标置信度的候选记为跟踪结果。由于SVM分类器进行分类时仅依据少量的支持向量(即从训练样本中选出的用作分类边界的少量样本)且大多数情况下样本线性不可分，这忽略了剩余样本在分类过程中的作用。

发明内容

本发明的目的是提供一种基于深度学习特征和点到集合距离度量学习的目标跟踪方法，通过深度卷积神经网络提取特征来提高表示层面的区分能力，通过点到集合的距离度量学习来充分发挥所有训练样本在分类过程中的作用。

为实现上述目的，本发明采用下述技术方案：

一种基于深度学习特征和点到集合距离度量学习的目标跟踪方法，包括以下步骤：

在跟踪的起始帧随机选取若干目标样本和背景样本；

对目标样本进行目标样本特征提取，对背景样本进行背景样本特征提取；

将提取的目标样本特征聚类成若干个目标模板集合，将提取的背景样本特征聚类成若干个背景模板集合；

通过降低同类别样本间距离并增大不同样本间的距离来学习投影矩阵；

根据高斯分布对后续帧进行目标候选采集；

提取目标候选的特征，并使用投影矩阵将目标模板集合、背景模板集合和目标候选投影到共同的子空间；

计算每个目标候选到所有目标模板集合的距离，距离之和作为每个目标候选的得分，最终的跟踪结果为距离最小的前若干个目标候选的平均值。

进一步地，所述在跟踪的起始帧随机选取若干目标样本和背景样本，包括：

在起始帧按照目标样本与背景样本的数量比值1：10进行采样，所述目标样本与指定跟踪区域交并比大于0.7，所述背景样本与指定跟踪区域交并比小于0.5。

进一步地，所述对目标样本进行目标样本特征提取，对背景样本进行背景样本特征提取，包括：

使用深度卷积神经网络MDNet对目标样本进行目标样本特征提取和对背景样本进行背景样本特征提取。

进一步地，所述将提取的目标样本特征聚类成若干个目标模板集合，将提取的背景样本特征聚类成若干个背景模板集合，包括：

对提取的目标样本特征采用K-means方法聚类为若干个目标样本集合，对每个目标样本集合分配一个类别标签；对提取的背景样本特征采用K-means方法聚类为若干个背景样本集合，对每个背景样本集合分配一个类别标签。