[发明专利]基于深度稠密连接的神经网络的视觉目标跟踪方法和装置

权利要求书

1.一种基于深度稠密连接的神经网络的视觉目标跟踪方法，包括：

数据输入步骤：将视频数据中第一视频帧的目标图像和第二视频帧输入深度稠密连接的神经网络；

目标跟踪步骤：基于所述目标图像，利用经过训练的所述深度稠密连接的神经网络对所述第二视频帧进行目标检测；和

跟踪结果输出步骤：输出所述第二视频帧中目标的包围盒坐标和相似图，基于所述包围盒坐标确定目标的长和宽，基于所述相似图中最大值位置确定目标的中心位置。

2.根据权利要求1所述的方法，其特征在于，

所述深度稠密连接的神经网络包括：第一子网络、第二子网络和全连接层，其中，所述第一子网络的输入为所述第一视频帧的目标图像，所述第一子网络的输入为所述第二视频帧，所述第一子网络和所述第二子网络均与所述全连接层连接，所述全连接层具有两个输出支路，分别是包围盒坐标输出支路和相似图输出支路。

3.根据权利要求2所述的方法，其特征在于，所述第一子网络和所述第二子网络结构相同且参数共享。

4.根据权利要求2所述的方法，其特征在于，所述第一子网络和/或第二子网络包括：依次相连的第一卷积层、第一池化层、第一稠密连接块、第一转换层、第二池化层、第二稠密连接块、第二转换层、第三池化层、第三稠密连接块、第三转换层、第四池化层和拼接层。

5.根据权利要求4所述的方法，其特征在于，所述第一稠密连接块、所述第二稠密连接块和所述第三稠密连接块具有相同的结构，包括：三个卷积层，每个卷积层的卷积核大小为3×3，步长为1，输出特征图的个数为12，每一个卷积层都与其前面的所有卷积层的输出相连。

6.根据权利要求1所述的方法，其特征在于，所述深度稠密连接的神经网络的损失函数包括：回归损失和相似性损失，其中，所述回归损失采用L1损失，所述相似性损失为交叉熵损失，总的损失函数为所述L1损失和所述交叉熵损失之和。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述深度稠密连接的神经网络采用以下步骤训练：

视频帧选择步骤：从训练视频数据集中随机选择包含同一目标的第三视频帧和第四视频帧；

图像生成步骤：基于所述第三视频帧生成目标模板图像，基于所述第四视频帧生成搜索区域图像；

训练数据生成步骤：根据所述目标模板图像中的目标在所述搜索区域图像的位置生成对应的包围盒坐标的真值和相似图的真值，从而得到训练数据以训练所述深度稠密连接的神经网络。

8.根据权利要求7所述的方法，其特征在于，在所述图像生成步骤中：以所述第三视频帧中目标的包围盒坐标为中心，从所述第三视频帧中截取部分图像，所述部分图像的长和宽分别为包围盒的长和宽的M倍，M>1，对所述部分图像进行归一化处理得到所述目标模板图像。

9.根据权利要求7所述的方法，其特征在于，在所述图像生成步骤中：在所述第四视频帧中，依据均匀分布原则确定若干个搜索区域的中心位置，根据包围盒的面积的K倍的面积确定搜索区域的面积，其中，K>2，在所述第四视频帧中搜索目标，对搜索结果进行归一化处理得到所述搜索区域图像。

10.一种基于深度稠密连接的神经网络的视觉目标跟踪装置，包括：

数据输入模块，其配置成用于将视频数据中第一视频帧的目标图像和第二视频帧输入深度稠密连接的神经网络；

目标跟踪模块，其配置成用于基于所述目标图像，利用经过训练的所述深度稠密连接的神经网络对所述第二视频帧进行目标检测；和

跟踪结果输出模块，其配置成用于输出所述第二视频帧中目标的包围盒坐标和相似图，基于所述包围盒坐标确定目标的长和宽，基于所述相似图中最大值位置确定目标的中心位置。