[发明专利]基于知识蒸馏的识别模型训练方法及装置

权利要求书

1.一种基于知识蒸馏的识别模型训练方法，其特征在于，包括：

获取教师模型、待训练的学生模型以及针对相同环境利用激光雷达采集的第一点云数据和第二点云数据；其中，所述第一点云数据对应的第一分辨率高于所述第二点云数据对应的第二分辨率；

将所述第一点云数据作为训练样本输入至所述教师模型进行目标识别得到所述教师模型输出的第一结果，以及，将所述第二点云数据作为训练样本输入至所述学生模型进行目标识别得到所述学生模型输出的第二结果；

利用所述第一结果以及所述第二结果进行知识蒸馏对所述学生模型进行训练直至满足训练结束条件得到目标学生模型。

2.根据权利要求1所述的方法，其特征在于，所述第一结果包括：所述教师模型基于所述第一点云数据得到的特征图、回归结果、分类结果中的一项或多项；所述第二结果包括：所述学生模型基于所述第二点云数据得到的特征图、回归结果、分类结果中的一项或多项；所述利用所述第一结果以及所述第二结果进行知识蒸馏对所述学生模型进行训练，包括：

基于所述第一结果和所述第二结果计算特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项；

对所述特征蒸馏损失函数、所述回归蒸馏损失函数以及所述分类蒸馏损失函数中的一项或多项以及所述学生模型对应的初始损失函数进行加权求和得到目标损失函数；其中，所述学生模型对应的初始损失函数基于所述第二结果与相应训练样本的特征图标签、回归标签以及分类标签得到；

利用所述目标损失函数对所述学生模型进行训练。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一结果和所述第二结果计算特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项，包括：

计算所述第一结果和所述第二结果分别包含的分类结果之间的KL散度作为所述分类蒸馏损失函数。

4.根据权利要求2所述的方法，其特征在于，所述基于所述第一结果和所述第二结果计算特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项，包括：

计算所述第一结果和所述第二结果分别包含的特征图之间的L2距离作为所述特征蒸馏损失函数。

5.根据权利要求2所述的方法，其特征在于，所述基于所述第一结果和所述第二结果计算特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项，包括：

基于所述第一结果和所述第二结果分别包含的回归结果确定用于计算所述回归蒸馏损失函数的目标训练样本；

计算所述学生模型针对所述目标训练样本输出的回归结果与所述教师模型针对所述目标训练样本输出的回归结果之间的距离的平均值作为所述回归蒸馏损失函数。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一结果和所述第二结果分别包含的回归结果确定用于计算所述回归蒸馏损失函数的目标训练样本，包括：

针对训练样本，计算回归目标与所述第一识别结果包含的回归结果之间的第一距离，以及，计算所述回归目标与所述第二识别结果包含的回归结果之间的第二距离；

根据所述第一距离和所述第二距离确定所述目标训练样本。

7.根据权利要求2所述的方法，其特征在于，所述基于所述第一结果和所述第二结果计算特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项之后，还包括：

通过所述训练样本的焦点权重对计算得到的特征蒸馏损失函数、回归蒸馏损失函数以及分类蒸馏损失函数中的一项或多项进行修正；

所述对所述特征蒸馏损失函数、所述回归蒸馏损失函数以及所述分类蒸馏损失函数中的一项或多项以及所述学生模型对应的初始损失函数进行加权求和得到目标损失函数，包括：

基于修正后的特征蒸馏损失函数、修正后的回归蒸馏损失函数以及修正后的分类蒸馏损失函数中的一项或多项以及所述学生模型对应的初始损失函数进行加权求和得到目标损失函数。