[发明专利]一种基于孪生神经网络的单目标跟踪方法

说明书

本发明涉及一种基于孪生神经网络的单目标跟踪方法，该方法包括如下步骤：S1、获取模板图像和当前帧搜索图像；S2、将模板图像和当前帧搜索图像分别送入训练好的siamfc++网络中，得到预测分类响应图、预测质量响应图和回归响应图；S3、将预测分类响应图和预测质量评估响应图进行点乘得到预测概率图；S4、获取预测概率图最大响应点所对应的回归响应图上坐标值，作为预测目标的坐标值，将预测目标的坐标值映射到搜索图像对应的坐标系下，得到目标的位置。

技术领域

本发明涉及是深度学习技术的单目标跟踪方法，特别是深度学习网络结构中的孪生网络和无需事先设置先验框的目标检测技术，属于目标跟踪技术领域。

背景技术

目标跟踪是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度和运动轨迹等，从而进行下一步的处理与分析，实现对运动目标的行为理解，以完成更高一级的任务。

目标跟踪(单目标)领域的研究者们将跟踪算法分为生成式和判别式方法。一：生成式方法采用特征模型描述目标的外观特征，再最小化跟踪目标与候选目标之间的重构误差来确认目标；生成式方法着重于目标本身的特征提取，忽略目标的背景信息，比较著名的方法有卡尔曼滤波，粒子滤波，mean-shift等，在目标外观发生剧烈变化或者遮挡时候容易出现目标漂移或者目标丢失情况。二：判别式方法将目标跟踪看做是一个二元分类问题，通过训练关于目标和背景的分类器来从候选目标中确定目标，该方法可以显著的区分背景和目标，具有性能鲁棒，准确率高的有点，渐渐成为目标跟踪领域主流方法。且目前大多数基于深度学习的目标跟踪算法也属于判别式方法。

在人工智能顶级会议AAAI上发表了一篇文章SiamFC++:Towards Robust andAccurate Visual Tracking with Target Estimation Guidelines实现单目标跟踪功能，该文献提出分类和状态估计任务的分离，分类任务将目标从干扰物和背景中分类出来，目标状态的估计如iou-loss回归等有利于对目标尺度变化的适应性；分类分数应该直接表示目标存在的置信度分数，即在“视野”中对应像素的子窗口，而不是预设置的锚点框。抛弃目标比例或比率这样的先验知识，提高了模型的泛化能力。使用与分类无关的估计质量评分而非使用分类置信度进行边框选择，提高了模型的准确率。但该方法还存在下列问题：

该方法在模型训练阶段，SiamFC++采用特征图上的特征点映射回原输入图像时，映射回的像素点在目标框内即为正样本。但通常情况下，目标框占据输入图像很小的比例，因此会导致正样本数量很少，负样本数量太多，产生类别不均衡问题，严重影响模型的精度。

该方法类别预测分支使用Focal-loss作为损失函数，它是在标准交叉熵损失基础上修改得到的。这个损失函数可以通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本。但是难分类样本很可能是离群点，过度关注离群点容易产生过拟合现象，降低模型泛化能力。

该方法边框回归分支采用IOU-loss，IoU是真实框和预测框的交集和并集之比，当它们完全重合时，IoU就是1，不相交时为0。但是IOU-loss在IoU值是相同时，IoU值不能反映两个框是如何相交的。当预测框和目标框不相交时，IoU(A,B)＝0时，不能反映A,B距离的远近，此时损失函数不可导，IoU Loss无法优化两个框不相交的情况。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供一种容易训练、防止过拟合，提高模型泛化能力，同时减少误识别的方法。

本发明的技术解决方案是：一种基于孪生神经网络的单目标跟踪方法，该方法包括如下步骤：

S1、获取模板图像和当前帧搜索图像。

S2、将模板图像和当前帧搜索图像分别送入训练好的siamfc++网络中，得到预测分类响应图、预测质量响应图和回归响应图；