[发明专利]一种基于自适应模板更新的孪生网络跟踪方法

权利要求书

1.一种基于自适应模板更新的孪生网络跟踪方法，其特征在于，基于目标跟踪模型，所述目标跟踪模型包括孪生跟踪模块、轨迹预测模块和模板更新模块，其中，

所述孪生跟踪模块用于输出目标模板在当前原始视频帧的搜索区域中预测的目标跟踪边界框，输入为当前原始视频帧中的搜索区域，以及目标模板，目标模板的初始值从第一帧中获取；

所述轨迹预测模块用于判断当前目标模板是否需要更新，输入为历史目标跟踪信息，输出为一个二值变量，用来控制模板更新模块的启动；所述历史目标跟踪信息包括孪生跟踪模块在历史时刻处理视频帧输出的历史目标跟踪边界框，和孪生跟踪模块在当前时刻处理视频帧中间过程生成的响应图；

所述模板更新模块用于生成新的目标模板，输入包括当前时刻孪生跟踪模块的输入目标模板和输出的目标跟踪边界框，以及原始视频帧，输出为更新后的目标模板，用于下一时刻视频帧的跟踪；

具体步骤包括：

(1)将待跟踪的视频帧和目标模板输入到孪生跟踪模块中，输出预测的目标跟踪边界框；

(2)将历史跟踪信息输入到轨迹预测模块中，输出二值变量，判断是否启动模板更新模块；

(3)若启动了模板更新模块，模板更新模块对当前帧使用的目标模板进行更新，更新后的目标模板代替更新前的目标模板作为孪生跟踪模块的输入；

(4)每到来一个新的视频帧，就重复(1)-(3)的步骤。

2.根据权利要求1所述的基于自适应模板更新的孪生网络跟踪方法，其特征在于，所述的孪生跟踪模块包括两个分支及三个区域提议网络单元，每个分支即为一个特征提取单元，第一分支用于提取目标模板的特征，输入为目标模板，第二分支用于提取搜索区域的特征，输入为搜索区域；每个分支提取三种特征，分别是局部特征、全局特征和融合特征；所述的三个区域提议网络单元是级联结构，通过多级回归操作输出最终的目标跟踪边界框；第一个单元的输入是目标模板和搜索区域的局部特征，输出初步的分类预测信息和回归信息，第二个单元的输入是搜索区域和目标模板的全局特征，输出进一步的分类预测信息和回归信息，第三个单元的输入是搜索区域和目标模板的融合特征，三个单元的分类预测信息加权相加，三个单元的回归信息加权相加，即为最终的目标跟踪边界框回归信息。

3.根据权利要求2所述的基于自适应模板更新的孪生网络跟踪方法，其特征在于，所述特征提取单元采用Resnet-16模型，该模型包括多个卷积层和一个融合子单元；经过conv3得到局部特征，经过conv6得到全局特征，经过融合子单元得到融合特征；所述融合子单元获取融合特征的过程为：

(1)先通过互相关操作计算搜索区域和目标模板对应的全局特征之间的相似概率图；

(2)然后通过相似概率图对局部特征进行选择；所述选择的过程是将概率图中的概率作为权重，对局部特征图进行加权赋值；

(3)最后将选择后的局部特征与对应的全局特征进行加权相加。

4.根据权利要求1所述的基于自适应模板更新的孪生网络跟踪方法，其特征在于，所述轨迹预测模块的工作过程如下：

(1)将孪生跟踪模块中间过程得到的响应图中响应值最大的k个位置映射到原始视频帧中，分别以这k个位置为中心通过预设的Q种不同比例边界框，获得K*Q个位置向量；

(2)将所述k*Q个位置向量与相邻T帧的历史跟踪边界框数据进行归一化和数据解析处理；

(3)将经过处理的数据输入到长短时记忆网络中，输出一个k*Q维的概率向量；

(4)比较概率向量中大于阈值Y的比例，如果大于比例阈值，就将二值变量设置为1，表示启动模板更新模块；否则，不启动模板更新模块。

5.根据权利要求1所述的基于自适应模板更新的孪生网络跟踪方法，其特征在于，所述模板更新模块的工作过程如下：

(1)将当前时刻孪生跟踪模块的输入目标模板称为当前目标模板，将更新后的模板称为下一时刻目标模板，将当前时刻视频帧跟踪到的目标边界框映射到原始视频帧中，截取出和更新前目标模板大小一致的图像块，称为候选目标模板；

(2)经过特征提取单元分别提取出与候选目标模板对应的局部特征、全局特征和融合特征，所述特征提取单元与孪生跟踪模块中的特征提取单元共享参数；

(3)将候选目标模板的局部特征、全局特征和融合特征分别与当前目标模板进行加权相加，输出得到下一时刻模板。