[发明专利]一种基于自适应主体敏感的视觉目标跟踪方法

权利要求书

1.一种基于自适应主体敏感的视觉目标跟踪方法，其特征在于：包括整体流程、离线部分和在线部分；

整体流程：首先设计了目标跟踪的流程；然后根据此流程设计了网络结构；最后将该网络各阶段特征图调整成自适应尺寸，完成孪生网络端到端跟踪过程；

离线部分：包括6个步骤：训练样本库生成；前向跟踪训练；反向传播梯度计算；梯度损失项计算；目标模板图像掩膜生成；网络模型训练及模型获取；其中，网络模型训练及模型获取阶段包括跟踪损失函数、梯度损失项、梯度下降法的选取；

在线部分：包括3个步骤：模型更新；在线跟踪；定位目标区域；其中，模型更新包括前向跟踪、反向传播梯度计算、梯度损失项计算、目标模板图像掩膜生成；在线跟踪包括前向跟踪得到相似性矩阵，计算当前跟踪结果置信度，回归目标区域；

所述的整体流程具体步骤如下：

(1)自适应主体敏感的视觉目标跟踪的在线流程包括在线更新和在线跟踪处理；当网络模型经过离线预训练调整后，视觉目标跟踪流程具体如下：

在初始帧处理过程中，输入模板图像和当前图像，对二者进行自适应主体敏感的孪生网络特征提取，产生跟踪回归响应，得到相似性矩阵；然后，通过计算反向传播梯度图、反向传播梯度损失项，优化求解最优模型；在后续帧处理过程中，输入模板图像和当前图像，通过自适应主体敏感孪生网络进行特征提取，产生跟踪回归响应；然后，计算跟踪回归响应的置信度，若置信度大于等于0.7则输出当前图像的跟踪结果，若置信度低于0.7则重复初始帧操作进行网络模型在线更新；

(2)网络结构包括孪生网络跟踪结构，两个自适应关注结构模块，目标模板图像掩膜融合结构；其中，在前向传播的步骤中，由孪生网络跟踪结构和两个自适应关注结构模块组成前向跟踪子模块；在反向传播的步骤中，利用目标模板图像掩膜融合结构作为反向传播子模块；孪生网络跟踪结构包括两组前向结构，每组分别有5个卷积层、5个归一化层和5个最大池化层，两组前向结构联合训练且权值共享；在孪生网络跟踪结构模板帧分支的前四个降采样处理层后添加自适应关注结构；

该自适应关注结构为两个结构组合，分别利用特征的通道维和空间维信息；一个是特征通道自适应关注结构，另一个是空间位置自适应关注结构；特征通道自适应关注结构由1个平均池化层、1个最大池化层、2个卷积层组合；空间位置自适应关注结构由1个卷积层构成；目标模板图像掩膜融合结构为归一化与数学操作的组合；

在卷积神经网络的图像处理过程中，卷积层之间需要通过卷积滤波器联系，卷积滤波器的定义表示为D×C×W×H,其中，C代表被滤波图像的通道数；W、H分别代表滤波范围的宽、高；D代表卷积滤波器的种类；

(3)在自适应主体敏感的视觉目标跟踪过程中，各卷积层输入和输出特征图的变化如下：

在前向跟踪处理过程中，模板帧输入图像大小为3×127×127的图像，在第一个卷积层中，先经过96个卷积核11×11之后，再经过归一化层的输出通道数为96，然后经过最大池化得到96×29×29的特征图；在第二个卷积层中，输入大小为96×29×29的特征图，先经过256个卷积核5×5之后会产生256×25×25的特征图，再经过归一化层的输出通道数为256，然后经过最大池化得到256×12×12的特征图；在第三个卷积层中，输入大小为256×12×12的特征图，先经过384个卷积核3×3之后，再经过归一化层的输出通道数为384，然后经过最大池化得到384×10×10的特征图；在第四个卷积层中，输入大小为384×10×10的特征图，先经过384个卷积核3×3之后，再经过归一化层的输出通道数为384，然后经过最大池化得到384×8×8的特征图；在第五个卷积层中，输入大小为384×8×8的特征图，先经过256个卷积核3×3之后，再经过归一化层的输出通道数为256，然后经过最大池化得到256×6×6的特征图；当前帧输入图像大小为3×255×255的图像，在第一个卷积层中，先经过96个卷积核11×11之后，再经过归一化层的输出通道数为96，然后经过最大池化得到96×61×61的特征图；在第二个卷积层中，输入大小为96×61×61的特征图，先经过256个卷积核5×5之后，再经过归一化层的输出通道数为256，然后经过最大池化得到256×28×28的特征图；在第三个卷积层中，输入大小为256×28×28的特征图，先经过384个卷积核3×3之后，再经过归一化层的输出通道数为384，然后经过最大池化得到384×26×26的特征图；在第四个卷积层中，输入大小为384×26×26的特征图，先经过384个卷积核3×3之后，再经过归一化层的输出通道数为384，然后经过最大池化得到384×24×24的特征图；在第五个卷积层中，输入大小为384×24×24的特征图，先经过256个卷积核3×3之后，再经过归一化层的输出通道数为256，然后经过最大池化得到256×22×22的特征图；将获得的模板帧输出作为卷积核与当前帧输出特征卷积得到跟踪回归特征响应1×17×17；

在反向传播处理过程中，根据跟踪回归特征响应1×17×17，经过链式求导法则，计算关于模板图像第一个卷积层的梯度响应，得到大小为96×29×29的自适应目标掩膜，归一化梯度响应后与第一个卷积层的输出响应进行点积操作；

所述的离线部分具体步骤如下：

(1)训练样本库生成：首先，根据网络结构处理训练样本，根据数据集提供的手工标注跟踪框，将目标位置随机偏移若干像素点，裁剪并压缩图像；再编码所有生成图像；

(2)前向跟踪训练；输入模板图像与训练图像，对二者进行自适应主体敏感的孪生网络特征提取，产生跟踪回归响应，得到相似性矩阵；

(3)反向传播计算；由当前输入图片对的匹配跟踪结果与回归损失，根据链式求导法则，计算当前输入图片对的梯度映射；

(4)梯度损失项计算；针对目标与背景，分别通过梯度的方差与像素强度值，计算梯度损失项；

(5)目标模板图像掩膜生成；建立模板帧关于网络第一层卷积层输出的自适应关注掩膜，对生成的目标模板图像自适应关注掩膜进行数据归一化与该层输出进行点积操作；

(6)网络模型训练及模型获取；根据当前获得的回归损失与梯度损失，使用梯度下降的方法进行网络参数更新；首先，为前向跟踪训练网络和目标模板图像掩膜分别建立损失监督，并采用常用的梯度下降法求解最小化损失函数的问题；其中，前向跟踪训练网络采用跟踪回归损失函数确定误差，通过随机梯度下降法调整最优化网络参数，基础学习率设置为0.0001，每训练1个轮次减半；权重衰减设为0.0005，动量设置为0.9；目标模板图像掩膜训练阶段采用随机梯度下降法计算梯度损失项和跟踪回归损失函数并调节网络参数，基础学习率设置为0.001，每训练1个轮次减半；权重衰减设为0.0005，动量设置为0.9；最后，经过反复迭代，当达到预设的最大迭代次数时停止训练，获得网络模型；

所述的在线部分具体步骤如下：

(1)输入模板图像与当前图像，进行网络前向特征提取，判断是否为第一帧输入，若是则进行步骤(2)；若不是则进行步骤(3)；

(2)模型更新；首先，进行前向跟踪，输入模板图像与当前图像，进行网络前向特征提取，获得当前输入图片对的匹配跟踪结果与跟踪回归损失；然后，进行反向传播计算，由当前输入图片对的匹配跟踪结果与跟踪回归损失，根据链式求导法则，计算当前输入图片对的梯度映射；接着计算梯度损失项，对提取的梯度映射进行数据标准化；最后，生成目标模板图像掩膜，建立模板帧关于网络第一层卷积层输出的目标模板图像自适应关注掩膜，对生成的自适应关注掩膜进行数据归一化与该层输出进行点积操作，获得关于的模板自适应增强表达；反复进行迭代更新，直到当前输入的总损失低于特定阈值λ，λ设为初始帧总损失的80％；

(3)在线跟踪；输入模板图像与当前图像，通过获取图像得到相似性矩阵，其中输入模板图像分支采用自适应关注掩膜进行强化；根据获得的相似性矩阵计算当前跟踪结果置信度，若低于阈值α，代表目前跟踪结果不可靠，α设为0.7，进行步骤(2)更新模型参数；

(4)定位目标区域；利用双三次插值将17×17的矩阵变为255×255的矩阵，从而确定跟踪目标结果；

(5)重复步骤(3)到步骤(4)，直到图像序列最后一帧。