[发明专利]基于残差分层注意力和相关性滤波器的目标跟踪方法及系统

权利要求书

1.一种基于残差分层注意力和相关性滤波器的目标跟踪方法，其特征是：包括以下步骤：

(1)读取当前帧图像，获取目标在前一帧图像中的位置和尺度，进而确定当前帧中的测试样本；

(2)将测试样本输入到训练后的卷积神经网络，获得测试样本的卷积特征，将所述特征输入至多上下文相关性滤波层，通过模型参数，获得网络响应，并确定目标在当前帧的位置和尺度；

(3)根据目标在当前帧的位置和尺度，获取训练样本，将所述训练样本输入卷积神经网络和残差分层注意力模块，获得含有注意力信息的训练样本特征；

(4)根据目标在当前帧的位置，提取转变样本，将其输入卷积神经网络，基于转变样本的网络响应，获得自适应的回归目标，之后，提取上下文样本，获得上下文样本特征，并根据含有注意力信息的训练样本特征和自适应的回归目标，得到含有多上下文信息的滤波器参数；

(5)利用获得的滤波器参数，对原有的模型参数进行更新；

所述步骤(4)中，获得含有多上下文信息的滤波器参数的具体过程包括：

以设定点为中心，提取上下文样本，上下文样本的尺度与训练样本一致，并将上下文样本输入至网络测试分支，得到上下文样本的特征；

在训练阶段，根据包含注意力的训练样本特征，上下文样本的特征和自适应回归目标中的限制矩阵，获得滤波器参数。

2.如权利要求1所述的一种基于残差分层注意力和相关性滤波器的目标跟踪方法，其特征是：还包括步骤(6)，更新至下一帧图像，不断进行步骤(1)-(5)的迭代，直到所有图像处理完成。

3.如权利要求1所述的一种基于残差分层注意力和相关性滤波器的目标跟踪方法，其特征是：所述步骤(1)中，选定目标在当前帧的测试样本的确定过程包括：在当前帧图像中以上一帧目标位置为中心，提取出尺度N倍于上一帧目标尺度的图像片，N大于1，并将图像片调整至指定像素，作为当前帧的测试样本。

4.如权利要求1所述的一种基于残差分层注意力和相关性滤波器的目标跟踪方法，其特征是：所述步骤(2)中，卷积神经网络的结构包括：

采用VGG-16网络第一层卷积层和第二层卷积层的结构，并去除所有池化层；

将以上卷积层复制为对称的孪生网络结构，使该网络具有两个结构一致的训练分支和测试分支；

在网络训练分支的卷积层之后加入具有三层池化层的Hourglass结构，作为该网络的残差分层注意力模块；

网络的最后一层为多上下文相关性滤波层，该层的输入为注意力模块的输出和测试分支的输出。

5.如权利要求1所述的一种基于残差分层注意力和相关性滤波器的目标跟踪方法，其特征是：所述步骤(2)中，采用训练数据集对端到端的卷积神经网络进行预训练；

预训练的具体过程包括：

对训练数据进行预处理，每隔若干帧提取一对图像帧，以大于目标大小的范围提取出图像片，并调整图像片的大小至设定像素，作为训练网络的样本；

采用随机梯度下降法训练网络；

对不含残差分层注意力模块的卷积神经网络进行多次使用完整数据集的迭代训练；

将残差分层注意力模块加入深度卷积网络，并固定卷积网络中已训练的层，进行多次使用完整数据集的迭代训练。

6.如权利要求1所述的一种基于残差分层注意力和相关性滤波器的目标跟踪方法，其特征是：所述步骤(2)中，将测试样本输入网络的测试分支，经过两层卷积层，得到测试样本的特征；

或，所述步骤(2)中，确定目标在当前帧的位置和尺度包括：将测试样本特征输入多上下文相关性滤波层，并根据模型参数，计算网络响应值；在跟踪阶段，将提取多个不同尺度的图像片，处理为测试样本，获得它们的特征和网络响应，目标在当前帧的尺度和位置分别为取得网络响应最大值的测试样本中目标的尺度和最大响应值对应的位置。