[发明专利]基于自注意力变换网络的目标跟踪方法

说明书

本发明公开了一种基于自注意力变换网络的目标跟踪方法，其利用搜索图像编码模块、目标编码模块，解码模块、监督模块来实现；搜索图像编码模块，由多头自注意力网络和前馈网络串联实现，通过多头自注意力网络和前馈网络计算搜索图像块编码；目标编码模块通过掩码多头自注意力网络计算目标特征编码；解码模块根据目标特征编码，通过多头注意力网络在搜索图像特征编码中进行查询匹配，计算目标预测框的位置坐标；监督模块，根据目标预测框的位置信息和真实目标位置信息，计算二者之间的误差，将误差最小时得到的神经网络参数用于目标跟踪。本发明拥有稳定的跟踪效果，更易在搜索图像中捕获发生形变的目标，生成准确的跟踪结果。

技术领域

本发明涉及目标跟踪方法领域，尤其涉及一种基于自注意力变换网络的目标跟踪方法。

背景技术

随着视频设备的发展和普及，许多基于分析视频的领域应运而生，如安全监测、交通控制、自动驾驶等，这些领域的发展将极大地提高生活质量。目标跟踪技术作为视频分析领域中的重要组成部分之一，虽然目前获得了优良的跟踪效果，但是面对复杂的实际场景时也经常跟踪失败。因此，当前的目标跟踪技术需要进一步提升其适应实际场景的能力。

目标跟踪任务中，被追踪的目标是任意指定的，目标的形状也是任意的。为了覆盖任意形状的目标，现在的跟踪方法人为预定义不同尺寸的先验锚框。然而，人为预定义的先验锚框有以下不足。第一，不同的先验锚框参数会造成较大差异的目标跟踪结果。第二，由于在实际应用中，测试数据集是预先不可知的，无法调节适合测试数据集的先验锚框参数，导致跟踪模型在实际应用中产生较差的跟踪效果。因此，如解决先验锚框的问题或避免使用先验锚框是值得探究的问题。

发明内容

为解决现有视频目标跟踪方法中存在的先验锚框问题或者避免先验锚框的使用，使得视频目标跟踪方法在测试集或者实际应用中的效果对先验锚框的参数设定不敏感，从而拥有稳定准确的跟踪效果，本发明公开了基于自注意力变换网络的目标跟踪方法，其利用搜索图像编码模块、目标编码模块，解码模块、监督模块来实现；

所述的搜索图像编码模块，由多头自注意力网络和前馈网络串联实现，多头自注意力网络由n个自注意力网络并联而成，当将搜索图像块输入搜索图像编码模块时，搜索图像编码模块通过多头自注意力网络和前馈网络计算搜索图像块编码，搜索图像块编码的计算公式为：

其中X是搜索图像块特征矩阵，P是搜索图像块空间位置图的坐标矩阵，Q＝K＝X+P，Q和K分别表示具有空间位置信息的第一和第二搜索图像块矩阵，W_i^Q表示第i个自注意力网络中作用于Q的变换矩阵，W_i^K表示第i个自注意力网络中作用于K的变换矩阵，W_i^V表示第i个自注意力网络中作用于X的变换矩阵，i＝1,2,…,n，W^O表示多头自注意力网络中的特征降维矩阵，W₁表示前馈网络中第1层卷积层的卷积核，W₂表示前馈网络中第2层卷积层的卷积核，b₁表示前馈网络中第1层卷积层的偏置向量，b₂表示前馈网络中第2层卷积层的偏置向量，d表示矩阵K的维度，c表示矩阵拼接函数，s表示归一化指数函数；

所述的目标编码模块，通过掩码多头自注意力网络实现，掩码多头自注意力网络由n个自注意力网络并联而成，不同的目标模板输入此模块后，此模块通过掩码多头自注意力网络聚合不同目标模板，计算目标特征编码，目标特征编码的计算公式为：