[发明专利]一种基于深度学习的行人目标跟踪方法

权利要求书

1.一种基于深度学习的行人目标跟踪方法，其特征在于，包括以下步骤：

(1)对包含行人目标的视频解码获得每一帧视频图像；

(2)提取每一帧视频图像的特征信息；

(3)根据每一帧视频图像的特征信息，使用区域候选网络RPN生成每一帧视频图像的预选框区域，以粗粒度搜索每一帧视频图像，获取每一帧视频图像中有可能是行人目标的候选区域；

(4)在上一帧视频图像行人目标周围产生目标框，将所述目标框与前后关联帧视频图像中有可能是行人目标的候选区域合并，成为细粒度搜索候选集；

(5)用双线性插值算法，将每一帧视频图像特征信息对应的特征图进行扩展，使得扩展后的特征图与原始视频图像分辨率相同，去除因量化带来的目标位置预测不准确的问题，在扩展后的特征图上，确定所述细粒度搜索候选集中各个目标框对应位置的特征；

(6)使用相关滤波器，对细粒度搜索候选集中的区域计算响应值，响应值最大者即为预测的行人目标位置，同时对相关滤波器进行在线更新。

2.根据权利要求1所述的基于深度学习的行人目标跟踪方法，其特征在于，所述步骤(2)具体包括：

基于行人属性的特征提取模型进行图像特征的提取，所述行人属性的特征提取模型在CaffeNet的基础上，在第6个全连接层后分裂成多个，分别对应于多个行人属性的标签，每个标签对应于各自的分类损失和验证损失层，该模型的训练过程包括：

(21)从N个训练样本中随机选取一个批次的样本进行预处理，所述N个训练样本为N个包含行人图像的图片，用于训练得到行人属性的特征提取模型；

(22)以ImageNet预训练的模型进行网络权重参数的初始化，将一个批次的训练样本和标签输入网络进行正向传播，计算网络各层的值，分别计算得到分类损失和验证损失，最终计算得到总体损失；

(23)若预定总迭代次数达到或者总体损失小于一定阈值，则训练结束；否则，继续步骤(24)；

(24)进行反向传播，用链式法则将损失梯度一层层向前进行传播，每一层利用各自的损失梯度，使用梯度下降算法对网络模型参数进行更新；重复步骤(21)至(23)。

3.根据权利要求2所述的基于深度学习的行人目标跟踪方法，其特征在于，所述步骤(3)具体包括：

在提取图像特征后，将其输入到RPN网络用于预选框的生成，特征提取网络模型与RPN网络模型的联合训练过程包括：

(31)对训练样本、真实目标区域和相应的行人ID、属性标签进行预处理；

(32)用步骤(2)中的训练得到网络参数，对特征提取模型权重参数进行初始化，并随机初始化RPN参数；

(33)固定卷积参数，训练网络，更新RPN和全连接层参数；

(34)固定卷积参数和RPN参数，用RPN生成预选框，使用预选框区域的卷积特征进行训练，更新全连接层参数。

4.根据权利要求1所述的基于深度学习的行人目标跟踪方法，其特征在于，所述步骤(5)具体包括：

(51)将每一帧视频图像特征信息对应的卷积特征图与原始图像进行映射，以对卷积特征图进行扩展，此时卷积特征图中将只有部分区域有值；

(52)根据双线性插值公式，对扩展后的卷积特征图进行横向插值，对每一行进行逐一插值；

(53)根据双线性插值公式，对扩展后的卷积特征图进行纵向插值，对每一列进行逐一插值。

5.根据权利要求1所述的基于深度学习的行人目标跟踪方法，其特征在于，所述步骤(6)具体包括：

(61)将细粒度搜索候选集中的目标框对应区域特征分别通过相关滤波器，计算响应值，并通过比较得出响应值最大者，响应值最大者即为预测的目标位置；

(62)计算预测目标位置与上一帧目标位置之间的特征余弦相似度，若相似度大于阈值，则进行步骤(63)，否则结束；

(63)根据预测结果，对候选集中的目标框进行标记，并以此为预测的行人目标位置，对相关滤波参数进行更新。