[发明专利]基于知识蒸馏的卫星视频多目标跟踪方法

说明书

本发明公开了一种基于知识蒸馏的卫星视频多目标跟踪方法，包括以下步骤：构造专门用于目标检测的教师网络；构造用于多目标跟踪的学生网络；结合教师网络和学生网络构建知识蒸馏模块；根据知识蒸馏损失和已有损失优化学生网络模型；结合目标检测结果，输出多目标跟踪结果。本发明的优点在于将知识蒸馏技术应用于卫星视频的多目标跟踪，利用专门用于目标检测的教师网络指导学生网络学习，提升了学生网络检测的泛化能力，可适用于卫星视频中的多目标跟踪问题。

技术领域

本发明属于多目标跟踪领域，具体涉及一种基于知识蒸馏的卫星视频多目标跟踪方法。

背景技术

多目标跟踪中既要面对在单目标跟踪中存在的遮挡、变形、运动模糊、拥挤场景、快速运动、光照变化、尺度变化等挑战，还要面对如轨迹的初始化与终止、相似目标间的相互干扰等复杂问题。因此，多目标跟踪是图像处理中的一个极具挑战性的方向。遥感视频中的多目标跟踪相较于通常的多目标跟踪存在以下特点：（1）成像幅宽不同，不同于监控视频对日常场景的成像，遥感视频卫星可以对较大范围实现持续成像。以“吉林一号”为例，成像幅宽达到4.6km*3.4km，巨大的成像幅宽使得运动目标更为多样，环境更加复杂；（2）目标尺度不同，遥感视频影像中的典型动目标主要以飞机、舰船为主。在巨大的成像幅宽下，此类典型动目标的像素值只占到总像素数的5%甚至更小的比例，只依靠卷积神经网络无法实现对目标的检测跟踪。

通常的MOT范式分为Detection Based Tracking(DBT)和Joint Detection andTracking(JDT)。如SORT、DeepSORT属于DBT范式的典型代表，SORT算法将当前帧目标的位置作为输入，利用卡尔曼滤波器粗略预测目标在下一帧的位置，再使用匈牙利算法来将预测结果与检测框进行匹配。DeepSORT在此基础上引入了外观模型，通过目标重识别网络来提取目标的外观特征，并于目标的运动特征相结合，共同用于数据关联，一定程度上减少了ID切换次数，提高跟踪精度。IOU-Tracker同样使用交并比（Intersection-over-Union，IOU）作为关联时的度量指标，后续的VIOU-Tracktor在其基础上增加了一个视觉单目标跟踪器（Single Object Tracking，SOT），以解决目标运动过快而导致的跟踪失效的问题。对于未被匹配的轨迹，利用SOT进行跟踪，并于后续检测结果进行匹配，若在一段时间内匹配成功，则恢复跟踪轨迹，否则停止跟踪。对于新初始化的跟踪，利用SOT进行反向跟踪，若与某条轨迹重合，则合并。目前多数研究者尝试从使用图范式建模多目标跟踪问题，将不同时间帧的检测作为节点，节点之间的连接作为预测得到的轨迹。如Learning a neural solver formultiple object tracking假设各个节点之间均相连，预测每条边的值（0或1），将节点的多分类问题转化为边的二分类问题。

JDT将检测和跟踪框架合并为一个统一的框架，故跟踪预测框架和检测框架可以同步进行参数更新，获得更好的效果。例如，Wang等人提出的JDE将检测和外观特征提取模块合并，不再使用单独的重识别模型获取目标表征信息，且提取的外观特征可以用于后续的关联匹配。Bergmann等人提出的Tracktor网络直接利用了Faster R-CNN中的边界框回归模块来预测跟踪结果，从而去掉了专门的跟踪预测模块。Peng等人提出的CTracker网络设计了一种端到端的在线多目标跟踪模型，它将跟踪预测中的数据关联问题转变成成对目标检测问题。Han等人提出的MAT利用多种运动学模型的信息来进行轨迹预测。CenterTrack使用CenterNet作为检测器，输入前一帧的热图，预测后一帧目标的位置、大小和相对偏移量，从而实现轨迹。FairMOT同样使用CenterNet作为检测网络，并在其基础上添加了Reid分支，认为无锚框的检测器有利于提取更有区分度的行人特征，可以在一定程度上解决重叠行人的识别问题。

发明内容

本发明的目的在于提供一种基于知识蒸馏的卫星视频多目标跟踪方法，利用教师网络提取的特征对学生网络提取的特征进行知识蒸馏，从而提高学生网络对特征的提取能力。