[发明专利]一种基于改进孪生网络的无人机视频单目标长期跟踪方法

摘要

本发明公开了一种基于改进孪生网络的无人机视频单目标长期跟踪方法，其分为离线训练与测试应用两个阶段。本发明方法实现了无人机视频单目标长期跟踪，克服了无人机视频目标小，特征少、相机运动幅度大导致跟踪失败和遮挡后无法找回目标的缺点，精度与效率远高于传统基于孪生网络的目标跟踪方法。

主权项

1.一种基于改进孪生网络的无人机视频单目标长期跟踪方法，包括离线训练阶段和测试应用阶段，其特征在于：1.离线训练阶段：步骤一、通过无人机拍摄跟踪目标视频，并对采集的视频进行分帧，转成图片，对每帧图片进行跟踪目标位置标注，制成训练数据；步骤二、在上述每帧图片，分别以127、225两种大小采样框采集一个跟踪目标模板和一个搜索区域作为图像对；步骤三、将所有训练图像对分批次输入改进孪生网络进行训练；改进孪生网络由两个完全相同的ResNet神经网络和三个RPN特征提议网络组成，两个ResNet网络分别用于提取跟踪目标模板和搜索区域的特征，三个RPN模块分别级联在ResNet网络Conv3‑3、Conv4‑6和Conv5‑3层，用于对两个ResNet网络从模板和搜索区域提取的不同层级的特征进行互相关分析，分析后RPN模块会在搜索特征图中进行跟踪目标置信度与目标位置预测；2.测试应用阶段：步骤四、将未标注的待跟踪视频分帧，计算给定初始跟踪框面积，当目标框面积小于400像素点时，将该图片放大两倍；步骤五、对上述所有图片，以初始跟踪框中心作为裁剪中心，以边长分别为127正方形采样框裁剪图片作为跟踪目标模板输入ResNet特征提取网络提取模板特征，对于之后每一帧测试图片，以上一帧目标框中心作为裁剪中心，以边长225的正方形采样框裁剪图片作为搜索区域，输入ResNet特征提取网络提取搜索域特征；步骤六、输入搜索区域与模板图片经过训练好的改进孪生网络后输出跟踪目标的置信度；判断置信度是否大于事先设定阈值M，若大于则直接输出预测的跟踪目标位置，否则启用SIFT特征全图匹配跟踪目标，直至重新找到跟踪目标；然后输出跟踪目标位置。