[发明专利]一种基于深度学习的多航空器跟踪方法

说明书

本发明公开了一种基于机场场面先验与深度学习的多航空器跟踪方法，包括以下步骤：S1：读取机场场面的视频帧；S2：识别图像中的航空器；S3：提取外观特征；S4：预测运动特征；S5：计算航空器先前帧的跟踪轨迹与当前帧的检测结果相似度；S6：匹配航空器的先前帧和当前帧；S7：获取匹配后的每一帧航空器的跟踪状态；S8：判断监控相机是否读取机场场面的视频帧，若是则返回步骤S1，否则结束跟踪航空器。本发明成功地解决了复杂场景的跟踪鲁棒性问题以及飞机转弯的跟踪问题，减少了ID交换、漏跟踪和错跟踪等问题；能够更加有效地为机场提供视频监控、检测和跟踪功能，提高机场场面航空器管理的效率。

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于机场场面先验与深度学习的多航空器跟踪方法。

背景技术

随着国际民用航空的快速发展，许多机场的区域日益扩大，机场场面也变得越来越复杂。基于此，国际民航组织开展了新的场面监控系统“先进场面运动引导控制系统”，该系统要求能够监视机场场面当中运动的目标，引导目标的运动路线以避免不同目标运动发生冲突，以及一些控制功能，其中基于机场场面的监督作为一项基础任务扮演着非常重要的角色。因此如何有效地检测和跟踪场面当中的运动目标是实现A-SMGCS的基础。

多航空器跟踪的主要任务是从输入的多个图像序列或者视频当中估计场景当中航空器的运动状态，如位置和形状，用于区分其他航空器的唯一ID序号等，接着利用这些信息形成场景当中每个航空器的跟踪轨迹。而目前视频多目标跟踪应用最广泛的框架是基于检测的跟踪，在该框架中跟踪主要包含两个时序步骤：目标检测和数据关联，首先通过一个预先训练好的目标检测器来获取视频中每一帧航空器的检测结果，通常这些结果都是矩形框区域Bbox；接着提取Bbox中目标的特征，根据特征度量先前时刻的运动轨迹与当前检测结果的距离，最后利用图匹配算法寻找最优匹配将属于同一目标的检测结果按时间顺序连接形成，而这也就是经典数据关联方法。

传统的方法当中，可以利用单模算法完成飞机跟踪，该算法主要是应用统计模型，但是机场场面的飞机运动状态总是不止一种的，因此单模算法显然不够合理。基于单模算法的不足，研究者提出了交互式多模算法，该方法通过马尔可夫链将实现航空器运动过程中各个模型之间的切换，增加了各个模型之间的交互功能。基于该框架，许多工作往往使用卡尔曼滤波算法及其一些改进算法来实现航空器不同运动状态的预测，这些工作都较好地完成跟踪任务，然而他们都没有使用当前火热的深度学习算法，这对于复杂场景跟踪的鲁棒性相对更差一些。当前许多行人跟踪算法使用深度网络提取行人特征或者求解图的最优匹配结果，这些方法较大地提升了跟踪器的性能。然而不同于行人，飞机是一个纯刚性物体，这就意味着行人跟踪与飞机跟踪所面临的挑战不太相同。

发明内容

本发明的目的是为了解决复杂场景的跟踪鲁棒性问题以及飞机转弯的跟踪问题，提出了一种基于机场场面先验与深度学习的多航空器跟踪方法。

本发明的技术方案是：一种基于机场场面先验与深度学习的多航空器跟踪方法包括以下步骤：

S1：利用监控相机读取机场场面的视频帧；

S2：利用YOLOv3检测器检测视频帧的每一帧图像，识别图像中的航空器；

S3：利用CNN网络提取每一帧图像中航空器的外观特征；

S4：利用马尔卡夫链获取航空器的运动状态，并根据运动状态预测其运动特征；

S5：根据航空器的外观特征和运动特征计算航空器先前帧的跟踪轨迹与当前帧的检测结果相似度；

S6：根据航空器先前帧的跟踪轨迹与当前帧的检测结果相似度，利用匈牙利算法匹配航空器的先前帧和当前帧；

S7：利用跟踪状态的马尔科夫链获取匹配后的每一帧航空器的跟踪状态；

S8：判断监控相机是否读取机场场面的视频帧，若是则返回步骤S1，否则结束跟踪航空器。