[发明专利]基于特征图分割和自适应融合的深度学习目标跟踪方法

权利要求书

1.一种基于特征图分割和自适应融合的深度学习目标跟踪方法，其特征在于，包括以下步骤：

(1)对训练集中的视频进行预处理，生成由模板图像和搜索区域图像构成的训练样本对；生成响应图标签；

(2)构建基于特征图分割和自适应融合的深度学习网络模型，用于实现目标跟踪；其中，所述模型的结构包括孪生的模板和搜索区域特征提取器、模板特征图分割器、中心特征图分割单元重构器、连接响应图生成器、自适应融合权重生成器和自适应融合器；

(3)基于步骤(1)获得的训练样本对和响应图标签，对步骤(2)所构建的深度学习网络模型进行训练，得到训练好的模型参数；将所述的深度学习网络模型的结构和训练好的参数在磁盘上进行存储，获得目标跟踪模型；

(4)对于待跟踪的视频，在确定其第1帧中跟踪目标的基础上，从其第1帧中处理出模板图像，从后续的待跟踪的每一帧中处理出与3个尺度相应的搜索区域图像；

(5)加载由步骤(3)获得的目标跟踪模型，并将步骤(4)获得的模板图像的3个拷贝和后续的待跟踪的每一帧对应的与所述3个尺度相应的搜索区域图像形成由模板图像和搜索区域图像构成的3对样本，输入到目标跟踪模型中，得到对待跟踪视频中后续每一帧跟踪的目标位置。

2.根据权利要求1所述的基于特征图分割和自适应融合的深度学习目标跟踪方法，其特征在于，所述步骤(1)对训练集中的视频进行预处理，生成由模板图像和搜索区域图像构成的训练样本对；生成响应图标签，具体包括：

(1.1)生成由模板图像和搜索区域图像构成的训练样本对；

首先，对每个训练视频进行预处理，对于其每一帧中的每个目标，生成以目标位置为中心的模板图像z和搜索区域图像x；

然后，由来自同一视频中的不同帧且包含同一目标的模板图像和搜索区域图像形成训练样本对，作为用于目标跟踪的深度学习网络模型的输入；

其中，生成模板图像z和搜索区域图像x的具体过程为：

(1.1.1)根据视频帧图像中给定的目标框左上角的坐标(x_o,y_o)及目标框的宽w_b和高h_b，按下式计算目标的中心点坐标(x_b,y_b)，并将该坐标作为目标位置，其中，所涉及的坐标以目标所在的视频帧图像的左上角为坐标原点，以水平向右，即视频帧图像宽的方向为横轴正方向，以垂直向下，即视频帧图像高的方向为纵轴正方向；

(1.1.2)设定模板图像的宽-高尺寸w_z×h_z和搜索区域图像的宽-高尺寸w_x×h_x，其中，w_z和w_x分别表示模板图像和搜索区域图像的宽，h_z和h_x分别表示模板图像和搜索区域图像的高，并且w_z＝h_z，w_x＝h_x；以步骤(1.1.1)中得到的目标位置为中心，从视频帧图像中裁剪出与模板图像相对应的正方形目标区域A_z和与搜索区域图像相对应的正方形目标区域A_x，并按照下列公式计算A_z的边长q_z、A_x的边长q_x以及缩放因子s：

s＝w_z/q_z＝w_x/q_x

式中，w_b和h_b分别为目标框的宽和高，p为目标框周围的背景信息大小，按照下式得出：

若目标区域A_z或A_x超出了视频帧图像的边界，则使用视频帧图像的RGB均值对超出的部分进行填充；

(1.1.3)将目标区域A_z和A_x按照缩放因子s分别缩放至尺寸w_z×h_z和w_x×h_x，分别形成模板图像和搜索区域图像，其宽-高尺寸分别为w_z×h_z和w_x×h_x；如果考虑模板图像和搜索区域图像的RGB通道数量分别为c_z＝3和c_x＝3，则得到的模板图像和搜索区域图像的尺寸分别为w_z×h_z×c_z和w_x×h_x×c_x；

(1.2)生成响应图标签；

响应图是用于目标跟踪的深度学习网络模型的输出；为了进行有监督的训练，需要设置每对训练样本所对应的响应图标签；对于响应图中的任一位置r，按照下式生成其标签值y[r]：

式中，cen为响应图的中心位置，||r-cen||为r与cen之间的偏移距离，T为设定的偏移距离阈值。