[发明专利]一种基于通道与空间注意力机制的孪生网络目标跟踪方法

说明书

本发明提出一种基于通道与空间注意力机制的孪生网络目标跟踪方法，包括如下步骤：对视频或图像数据集进行处理，以获得统一图像大小的多个目标图像；基于卷积神经网络模型、通道注意力机制以及空间注意力机制，构建得到新型骨干网络模型；从多个目标图像中提取训练样本，以对新型骨干网络模型进行训练；利用训练好的新型骨干网络模型在多个目标图像中提取以得到目标图像样本深层特征，并将目标图像样本深层特征在目标图像候选区域进行相似性匹配以得到多个目标候选块，每个目标候选块对应有一相似度得分；利用获取到的最大相似度得分的目标候选块进行目标跟踪。本发明所设计的跟踪算法的表观模型，具有更好的鲁棒性与精确度。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于通道与空间注意力机制的孪生网络目标跟踪方法。

背景技术

目标跟踪是计算机视觉中的一个非常重要的课题，在自动驾驶、视频监控、视频分析、医疗领域以及军事等领域均具有实际应用。在实际应用中，由于目标跟踪应用场景广泛并且复杂，在具有复杂背景的目标跟踪上经常会发生变形，存在运动模糊和遮挡等挑战性问题。此外，由于商业、工业、军事以及医学等方面应用场景的需求，目标跟踪技术研究极具价值。

通常，目标跟踪算法包含有判别式算法和生成式算法两种。其中，基于判别模型的算法可以有效地将被跟踪的目标与周围的背景区分开。基于生成模型的算法在给定搜索区域中，利用目标图像样本和候选区域目标图像样本之间学习的相似性函数来比较。近年来，随着大规模公开标注的图像数据集的出现以及计算机硬件性能和软件技术的飞速发展，深度学习在图像处理的各个领域已经取得很大的成功。其中，基于深度学习的判别相关滤波器由于运算速度快，已经成功地应用于目标跟踪。此外，基于孪生网络的跟踪算法也在目标跟踪任务中得到了广泛的关注。利用孪生网络体系结构对检测到的目标候选样本进行模板匹配，通过计算目标区域与候选区域之间的最高相似度来获得目标图像的位置。

然而，现有技术中，在进行视觉目标跟踪时，没有同时联合卷积神经网络模型、通道注意力机制以及空间注意力机制，进行目标跟踪的精确度以及鲁棒性不太理想。

发明内容

鉴于上述状况，有必要解决现有技术中在进行视觉目标跟踪时，没有同时联合卷积神经网络模型、通道以及空间注意力机制，进行目标跟踪的精确度以及鲁棒性不太理想的问题。

本发明实施例提供了一种基于通道与空间注意力机制的孪生网络目标跟踪方法，其中，所述方法包括如下步骤：

步骤一：对视频或图像数据集进行处理，以获得统一图像大小的多个目标图像；

步骤二：基于卷积神经网络模型、通道注意力机制以及空间注意力机制，构建得到新型骨干网络模型；

步骤三：从所述多个目标图像中提取训练样本，以对所述新型骨干网络模型进行训练；

步骤四：利用训练好的所述新型骨干网络模型在所述多个目标图像中提取以得到目标图像样本深层特征，并将所述目标图像样本深层特征在目标图像候选区域进行相似性匹配以得到多个目标候选块，其中每个目标候选块均分别对应有一相似度得分；

步骤五：利用获取到的最大相似度得分的目标候选块进行目标跟踪。

本发明提出一种基于通道与空间注意力机制的孪生网络目标跟踪方法，首先对视频或图像数据集进行处理以得到统一图像大小的目标图像，然后基于卷积神经网络模型、通道注意力机制以及空间注意力机制联合构建得到新型骨干网络模型，然后从目标图像中提取训练样本，对新型骨干网络模型进行训练，再利用训练好的新型骨干网络模型在目标图像中提取以得到目标图像样本深层特征，进而在目标图像候选区域进行相似性匹配以得到多个目标候选块，最后利用获取到的最大相似度得分的目标候选块进行目标跟踪。

本发明利用GOT- 10k作为训练集来调整离线训练的模型参数，可更准确地表示视频中的目标；然后通过使用一种轻量级的卷积神经网络模型进行特征提取。本发明所设计的跟踪算法的表观模型，具有更好的鲁棒性与精确度。