[发明专利]一种基于自适应主体敏感的视觉目标跟踪方法

摘要

一种基于自适应主体敏感的视觉目标跟踪方法属于计算机视觉技术领域，包括整体流程、离线部分和在线部分。整体流程：设计了目标跟踪的流程，并设计了网络结构；将该网络各阶段特征图调整成自适应尺寸，完成孪生网络端到端跟踪过程；离线部分包括6个步骤：训练样本库生成；前向跟踪训练；反向传播梯度计算；梯度损失项计算；目标模板图像掩膜生成；网络模型训练及模型获取。在线部分包括3个步骤：模型更新；在线跟踪；定位目标区域。模型更新包括前向跟踪、反向传播梯度计算、梯度损失项计算、目标模板图像掩膜生成；在线跟踪包括前向跟踪得到相似性矩阵，计算当前跟踪结果置信度，回归目标区域。该方法能够更好地适应外观变化的目标稳健跟踪。

主权项

1.一种基于自适应主体敏感的视觉目标跟踪方法，其特征在于：包括整体流程、离线部分和在线部分；整体流程：首先设计了目标跟踪的流程；然后根据此流程设计了网络结构；最后将该网络各阶段特征图调整成自适应尺寸，完成孪生网络端到端跟踪过程；离线部分：包括6个步骤：训练样本库生成；前向跟踪训练；反向传播梯度计算；梯度损失项计算；目标模板图像掩膜生成；网络模型训练及模型获取；其中，网络模型训练及模型获取阶段包括跟踪损失函数、梯度损失项、梯度下降法的选取；在线部分：包括3个步骤：模型更新；在线跟踪；定位目标区域；其中，模型更新包括前向跟踪、反向传播梯度计算、梯度损失项计算、目标模板图像掩膜生成；在线跟踪包括前向跟踪得到相似性矩阵，计算当前跟踪结果置信度，回归目标区域；所述的整体流程具体步骤如下：(1)自适应主体敏感的视觉目标跟踪的在线流程包括在线更新和在线跟踪处理；当网络模型经过离线预训练调整后，视觉目标跟踪流程具体如下：在初始帧处理过程中，输入模板图像和当前图像，对二者进行自适应主体敏感的孪生网络特征提取，产生跟踪回归响应，得到相似性矩阵；然后，通过计算反向传播梯度图、反向传播梯度损失项，优化求解最优模型；在后续帧处理过程中，输入模板图像和当前图像，通过自适应主体敏感孪生网络进行特征提取，产生跟踪回归响应；然后，计算跟踪回归响应的置信度，若置信度大于等于0.7则输出当前图像的跟踪结果，若置信度低于0.7则重复初始帧操作进行网络模型在线更新；(2)网络结构包括孪生网络跟踪结构，两个自适应关注结构模块，目标模板图像掩膜融合结构；其中，在前向传播的步骤中，由孪生网络跟踪结构和两个自适应关注结构模块组成前向跟踪子模块；在反向传播的步骤中，利用目标模板图像掩膜融合结构作为反向传播子模块；孪生网络跟踪结构包括两组前向结构，每组分别有5个卷积层、5个归一化层和5个最大池化层，两组前向结构联合训练且权值共享；在孪生网络跟踪结构模板帧分支的前四个降采样处理层后添加自适应关注结构；该自适应关注结构为两个结构组合，分别利用特征的通道维和空间维信息；一个是特征通道自适应关注结构，另一个是空间位置自适应关注结构；特征通道自适应关注结构由1个平均池化层、1个最大池化层、2个卷积层组合；空间位置自适应关注结构由1个卷积层构成；目标模板图像掩膜融合结构为归一化与数学操作的组合；在卷积神经网络的图像处理过程中，卷积层之间需要通过卷积滤波器联系，卷积滤波器的定义表示为D×C×W×H,其中，C代表被滤波图像的通道数；W、H分别代表滤波范围的宽、高；D代表卷积滤波器的种类；(3)在自适应主体敏感的视觉目标跟踪过程中，各卷积层输入和输出特征图的变化如下：在前向跟踪处理过程中，模板帧输入图像大小为3×127×127的图像，在第一个卷积层中，先经过96个卷积核11×11之后，再经过归一化层的输出通道数为96，然后经过最大池化得到96×29×29的特征图；在第二个卷积层中，输入大小为96×29×29的特征图，先经过256个卷积核5×5之后会产生256×25×25的特征图，再经过归一化层的输出通道数为256，然后经过最大池化得到256×12×12的特征图；在第三个卷积层中，输入大小为256×12×12的特征图，先经过384个卷积核3×3之后，再经过归一化层的输出通道数为384，然后经过最大池化得到384×10×10的特征图；在第四个卷积层中，输入大小为384×10×10的特征图，先经过384个卷积核3×3之后，再经过归一化层的输出通道数为384，然后经过最大池化得到384×8×8的特征图；在第五个卷积层中，输入大小为384×8×8的特征图，先经过256个卷积核3×3之后，再经过归一化层的输出通道数为256，然后经过最大池化得到256×6×6的特征图；当前帧输入图像大小为3×255×255的图像，在第一个卷积层中，先经过96个卷积核11×11之后，再经过归一化层的输出通道数为96，然后经过最大池化得到96×61×61的特征图；在第二个卷积层中，输入大小为96×61×61的特征图，先经过256个卷积核5×5之后，再经过归一化层的输出通道数为256，然后经过最大池化得到256×28×28的特征图；在第三个卷积层中，输入大小为256×28×28的特征图，先经过384个卷积核3×3之后，再经过归一化层的输出通道数为384，然后经过最大池化得到384×26×26的特征图；在第四个卷积层中，输入大小为384×26×26的特征图，先经过384个卷积核3×3之后，再经过归一化层的输出通道数为384，然后经过最大池化得到384×24×24的特征图；在第五个卷积层中，输入大小为384×24×24的特征图，先经过256个卷积核3×3之后，再经过归一化层的输出通道数为256，然后经过最大池化得到256×22×22的特征图；将获得的模板帧输出作为卷积核与当前帧输出特征卷积等到跟踪回归特征响应1×17×17；在反向传播处理过程中，根据跟踪回归特征响应1×17×17，经过链式求导法则，计算关于模板图像第一个卷积层的梯度响应，得到大小为96×29×29的自适应目标掩膜，归一化梯度响应后与第一个卷积层的输出响应进行点积操作。