[发明专利]基于运动先验的孪生网络卫星视频目标跟踪方法

说明书

本发明涉及一种基于运动先验的孪生网络卫星视频目标跟踪方法。本发明结合卫星视频目标运动特点的运动掩膜，并将其与光流引导的注意力机制结合，通过将目标深浅层特征融合，得到同时兼顾准确性和实时性的遥感目标跟踪器。本发明结合卫星视频目标在短时间内呈现直线匀速运动的特点，提出一种运动掩膜取代常用的汉宁窗，对目标的位置估计提供方向约束和速度约束。同时，为了进一步挖掘目标运动的时序信息，本发明将帧与帧之间的光流变化作为注意力加入网络，增加目标和背景的可分性，提升网络对运动目标的捕捉能力。此外，考虑卫星视频中目标尺寸特点，本发明采用深浅层特征融合的方式，一定程度上可以解决遥感目标尺寸较小的不足。

技术领域

本发明涉及卫星视频目标跟踪领域，特别涉及一种通过引入光流注意力、运动掩膜来融合目标运动信息，结合孪生网络结构对卫星目标进行跟踪的技术方法。以数据驱动的方式完成整个跟踪网络的训练，实现对卫星视频中的飞机、轮船等目标的准确和实时跟踪。

背景技术

目前，自然视频中的目标跟踪技术已经得到较为成熟的发展，并在城市道路监测、车流量分析以及无人驾驶方面都有广泛应用。但是基于卫星视频的目标跟踪技术目前还存在较大的改善空间。卫星视频中目标大多缺乏丰富的纹理信息和色彩信息，对于车辆类较小的目标来说，所占据的像素较少，代表性特征不明显，目标与背景的相似度较高，且存在较多难以分辨的伪目标，这些缺陷导致适用于自然视频的目标跟踪算法在卫星视频中往往表现较差，很容易出现目标跟丢的情况。由于卫星视频中目标自身特点的限制，目标跟踪算法在卫星视频中的发展较为缓慢。较早的卫星视频目标跟踪算法大多采用光流法、卡尔曼滤波等对跟踪器进行建模，但是这类算法在面对复杂的跟踪环境时呈现出较低的鲁棒性。一些方法在实现更高的鲁棒性的同时又无法满足实时性的要求。近年来，深度学习发展迅速，被广泛在应用于各个领域，且取得了很好的效果。基于深度学习的卫星视频目标跟踪算法也逐渐产生，并在实际应用中得到逐步发展和改进。从深度学习角度考虑，卫星视频目标跟踪问题实质上是一个特征提取融合问题和定位问题，即需要准确提取目标的特征信息和实现精准的定位。深度学习方法对不同层次的目标特征有着强大的挖掘能力，在与非深度学习的方法结合后，也同时能够达到对目标进行精准定位的要求。

总体来说，目前的卫星视频目标跟踪算法可归为三类：

基于光流的方法：该方法以光流为基础，通过将灰度场与二维速度场联系，引入光流约束方程，在假设运动物体灰度在很短的间隔时间内保持不变以及给定领域内的速度向量场变化缓慢的情况下，得到运动物体的光流，进而通过特征点的偏移实现目标跟踪。该方法的优点是直接引入目标的运动场，计算复杂度小，其缺点是不适用于复杂的运动场景。

基于卡尔曼滤波的方法：该方法是一种基于线性滤波的预测方法，主要分为两个步骤：预测与校正，预测是基于上一时刻目标状态估计当前状态，而校正则是综合当前的估计状态与观测状态，估计最优的状态。该方法的缺点是模型的建立决定了滤波效果的正确性，且目标估计状态与物体的运动速度有一定的关系，适用范围小，同时模型受参数的影响较大。

基于深度学习的方法：该类方法主要是以孪生网络为主，将包含目标的目标模板和搜索区域通过同样的特征提取网络，将得到的目标模板特征作为卷积核对搜索区域进行卷积，结果即为目标中心落在搜索区域上每个点的可能性。通过后续寻找最高点可以直接得到目标的位置。该方法以数据驱动为主，需要大量的数据来训练性能良好的特征提取网络，合适的训练数据对网络的性能有着关键作用即。该方法的优点在于能够挖掘目标多层次的深度特征，具有很好的目标表达能力，能够应对任何复杂的目标以及目标运动场景。但是该方法大多还是在目标检测的基础上做目标跟踪，当背景存在很多相邻伪目标，跟踪器的判别能力将会下降。同时，在基于深度学习的方法中，仅仅考虑目标的空间信息而忽略了目标的时序信息，很大程度上限制了该类算法的跟踪性能。

因此，基于深度学习的卫星视频目标跟踪算法还有很大的改进空间，有必要发展同时兼顾跟踪实时性和准确性的跟踪算法。

发明内容