[发明专利]基于深度稠密连接的神经网络的视觉目标跟踪方法和装置

说明书

本申请公开了一种基于深度稠密连接的神经网络的视觉目标跟踪方法和装置。其中，方法包括：数据输入步骤：将视频数据中第一视频帧的目标图像和第二视频帧输入深度稠密连接的神经网络；目标跟踪步骤：基于所述目标图像，利用经过训练的所述深度稠密连接的神经网络对所述第二视频帧进行目标检测；和跟踪结果输出步骤：输出所述第二视频帧中目标的包围盒坐标和相似图，基于所述包围盒坐标确定目标的长和宽，基于所述相似图中最大值位置确定目标的中心位置。该方法采用深度稠密连接的神经网络，能够充分利用浅层特征，从而为目标对比和跟踪提供更为精确的位置信息。

技术领域

本申请涉及计算机视觉领域，特别是涉及一种基于深度稠密连接的神经网络的视觉目标跟踪方法和装置。

背景技术

在计算机视觉领域，如何在视频序列中跟踪一个任意目标是一个非常具有挑战性的问题。首先，由于目标类别的不确定性，需要算法具有提取目标鲁棒特征的能力。其次，在跟踪过程中误差的积累会造成跟踪失败，因此需要算法可以对目标进行精确定位。同时，很多应用场景需要跟踪算法可以实时运行。由于传统的手工特征无法满足鲁棒性的要求，即当目标发生非刚体形变、平面外旋转、运动模糊等变化时，基于传统手工特征的跟踪器容易发生跟踪失败。

近年来，随着深度学习算法的发展，基于深度特征的算法取得了巨大的成功。由于可以利用大量的训练数据进行端到端的训练，深度卷积神经网络可以通过学习提取得到目标鲁棒的特征，即可以适应多种跟踪环境(如非刚体形变、平面外旋转、运动模糊等)。同时，通过充分利用不同卷积层提取得到的特征，跟踪算法可以对目标进行更为精确的定位。

现有的基于深度学习的视觉目标跟踪算法尚有如下不足：首先，跟踪器仅利用深度卷积网络的深层特征，而没有充分利用浅层特征。然而，由于浅层特征具有较大的分辨率，其可以提供更为精确的位置信息。其次，大多数跟踪器所利用的卷积神经网络在训练过程中仅考虑回归损失或分类损失中的一种，因而不能对网络进行更为全面的训练。最后，由于不能学习得到鲁棒的特征，很多跟踪器需要通过在线训练对深度卷积神经网络的参数进行微调，这一过程导致此类跟踪器无法实时运行。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的第一个方面，提供了一种基于深度稠密连接的神经网络的视觉目标跟踪方法，包括：

数据输入步骤：将视频数据中第一视频帧的目标图像和第二视频帧输入深度稠密连接的神经网络；

目标跟踪步骤：基于所述目标图像，利用经过训练的所述深度稠密连接的神经网络对所述第二视频帧进行目标检测；

跟踪结果输出步骤：输出所述第二视频帧中目标的包围盒坐标和相似图，基于所述包围盒坐标确定目标的长和宽，基于所述相似图中最大值位置确定目标的中心位置。

该方法采用深度稠密连接的神经网络，能够充分利用浅层特征，从而为目标对比和跟踪提供更为精确的位置信息。

可选地，所述深度稠密连接的神经网络包括：第一子网络、第二子网络和全连接层，其中，所述第一子网络的输入为所述第一视频帧的目标图像，所述第一子网络的输入为所述第二视频帧，所述第一子网络和所述第二子网络均与所述全连接层连接，所述全连接层具有两个输出支路，分别是包围盒坐标输出支路和相似图输出支路。

该方法的卷积神经网络模型采用深度稠密连接，通过各种连接关系的设置，不但能够利用深层特征，还能充分利用浅层特征，通过深层特征和浅层特征的综合利用，能够生成更加精确的目标位置信息，从而使得跟踪结果更稳定。

可选地，所述第一子网络和所述第二子网络结构相同且参数共享。

该方法可以减少权重计算的数据量，每个神经元只关心少数特征，使得需要估算的参数数量减少，从而提高计算速度。