[发明专利]基于知识蒸馏的卫星视频多目标跟踪方法

权利要求书

1.一种基于知识蒸馏的卫星视频多目标跟踪方法，其特征在于，包括以下步骤：

第一步，构建用于目标检测的教师网络，在训练集上充分训练优化模型参数后输入卫星视频图像，经过若干卷积层得到教师层特征图；

第二步，构建用于多目标跟踪的学生网络，网络的输入为与教师网络同样的数据图像，经过若干卷积层得到学生层特征图；

第三步，构建知识蒸馏模块，分别输入教师层和学生层的特征图，输出学生网络的知识蒸馏损失；

第四步，优化学生网络的目标检测网络参数，将知识蒸馏损失添加到整体损失当中，利用随机梯度下降方法优化网络参数；

第五步，从优化后的学生网络中得到目标检测输出，输出多目标跟踪结果。

2.根据权利要求1所述的基于知识蒸馏的卫星视频多目标跟踪方法，其特征在于，第三步根据教师层和学生层的特征图构建知识蒸馏模块，具体过程如下：

（1）分别将每一个学生层特征投影至不同教师层所在特征空间，将学生层特征投影至教师层特征同空间得到新的学生层特征：

；

其中表示学生层的输出特征，b表示实例数，分别表示学生层的通道数以及高和宽，和分别表示学生层和教师层输出的L个特征层，表示投影函数，依次由一个1x1，3x3和1x1的卷积实现；

（2）利用自注意力机制分别计算各个教师层特征、学生层特征和自身的成对相似矩阵作为语义相似度度量：

；

其中表示教师层特征的语义相似度，表示学生层特征的语义相似度，表示reshape操作，将特征层转换为特征向量；通过计算各个特征层的语义相似度可构造成对相似度矩阵；

（3）利用MLP将教师层和学生层特征投影至子空间，得到query和key向量，对特征层中的第i个实例，输入教师层特征和学生层特征的语义相似度和得到：

；

；

其中和分别表示用于生成query和key向量的MLP，和分别表示对第i个实例生成的query和key向量，且由各个实例共享；

（4）利用注意力分配机制计算各个教师层与学生层之间的特征相似度作为各个教师层特征对学生层特征之间的权重系数，即归一化处理学生层对每一个教师层的注意力权重；教师层对学生层特征的权重系数计算如下：

；

其中i表示特征层中的第i个实例，总数为b；

（5）根据教师层和学生层之间特征的平均误差加权求和计算知识蒸馏损失：

；

；

其中使用MSE方法作为计算教师层特征和学生层特征之间的距离Dist的算法，并使用之前计算的权重系数对两者特征之间的MSE距离计算加权平均。

3.根据权利要求2所述的基于知识蒸馏的卫星视频多目标跟踪方法，其特征在于，第四步，将知识蒸馏损失添加到学生网络的整体损失函数当中优化网络参数，对于输入的单个图像，W表示图像的宽度，H表示图像的高度，3表示图像的RGB三个颜色通道，整体损失函数如下：

；

；

；

；

其中，表示focal损失，是与标注物体对应的真实热图，C表示目标总类别数，R为一个下采样因子，则表示在第c个类别的（x,y）位置的热图，N表示物体总数，α和β为该损失的超参数；使用回归方法表示预测框的尺寸损失，对于位于的第i个物体，和分别表示目标框和预测框尺寸；使用L1损失进一步回归到细化的中心局部位置的位置损失，和分别表示预测框和真实框的中心点位置。

4.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3中任一所述的基于知识蒸馏的卫星视频多目标跟踪方法的步骤。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的基于知识蒸馏的卫星视频多目标跟踪方法的步骤。