[发明专利]一种基于改进孪生网络的无人机视频单目标长期跟踪方法

权利要求书

1.一种基于改进孪生网络的无人机视频单目标长期跟踪方法，包括离线训练阶段和测试应用阶段，其特征在于：

1.离线训练阶段：

步骤一、通过无人机拍摄跟踪目标视频，并对采集的视频进行分帧，转成图片，对每帧图片进行跟踪目标位置标注，制成训练数据；

步骤二、在上述每帧图片，分别以127、225两种大小采样框采集一个跟踪目标模板和一个搜索区域作为图像对；

步骤三、将所有训练图像对分批次输入改进孪生网络进行训练；改进孪生网络由两个完全相同的ResNet神经网络和三个RPN特征提议网络组成，两个ResNet网络分别用于提取跟踪目标模板和搜索区域的特征，三个RPN模块分别级联在ResNet网络Conv3-3、Conv4-6和Conv5-3层，用于对两个ResNet网络从模板和搜索区域提取的不同层级的特征进行互相关分析，分析后RPN模块会在搜索特征图中进行跟踪目标置信度与目标位置预测；

2.测试应用阶段：

步骤四、将未标注的待跟踪视频分帧，计算给定初始跟踪框面积，当目标框面积小于400像素点时，将该图片放大两倍；

步骤五、对上述所有图片，以初始跟踪框中心作为裁剪中心，以边长分别为127正方形采样框裁剪图片作为跟踪目标模板输入ResNet特征提取网络提取模板特征，对于之后每一帧测试图片，以上一帧目标框中心作为裁剪中心，以边长225的正方形采样框裁剪图片作为搜索区域，输入ResNet特征提取网络提取搜索域特征；

步骤六、输入搜索区域与模板图片经过训练好的改进孪生网络后输出跟踪目标的置信度；判断置信度是否大于事先设定阈值M，若大于则直接输出预测的跟踪目标位置，否则启用SIFT特征全图匹配跟踪目标，直至重新找到跟踪目标；然后输出跟踪目标位置。

2.如权利要求1所述的基于改进孪生网络的无人机视频单目标长期跟踪方法，其特征在于：步骤二中，对于每帧图片，计算目标框大小，当目标框面积小于400像素点时，将该图片放大两倍。

3.如权利要求1所述的基于改进孪生网络的无人机视频单目标长期跟踪方法，其特征在于：步骤三中所述ResNet网络引入跨层连接，使浅层的权重也能直接传递给深层。

4.如权利要求1所述的基于改进孪生网络的无人机视频单目标长期跟踪方法，其特征在于：步骤三中所述RPN网络模块以孪生ResNet网络的不同层作为输入，通过调整层调整输入尺寸后，输入给深度可分离互相关层计算匹配模板与搜索区域的互相关系数，最后分别得出搜索区域的前景与背景分类置信度得分和预测目标框位置。

5.如权利要求4所述的基于改进孪生网络的无人机视频单目标长期跟踪方法，其特征在于：所述深度可分离互相关层对卷积图谱采取逐通道计算互相关结果。

6.如权利要求1所述的基于改进孪生网络的无人机视频单目标长期跟踪方法，其特征在于：步骤六中，在获得跟踪目标位置后，在对应原图上以跟踪目标位置为中心，边长127正方形采样框裁剪图片，重新替代原模板，实现模板的动态跟新。