[发明专利]神经网络模型的蒸馏方法、装置及电子系统

权利要求书

1.一种神经网络模型的蒸馏方法，其特征在于，包括：

获取训练样本图片和所述训练样本图片的标注信息；所述标注信息用于指示所述训练样本图片中物体的属性；

通过学生模型对所述训练样本图片进行特征提取，得到第一特征；

基于所述第一特征和所述标注信息，通过教师模型处理得到所述训练样本图片的第二特征；

根据所述第一特征和所述第二特征确定所述教师模型和所述学生模型之间的蒸馏损失；

基于所述蒸馏损失更新所述学生模型的参数。

2.根据权利要求1所述的神经网络模型的蒸馏方法，其特征在于，基于所述第一特征和所述标注信息，通过教师模型处理得到所述训练样本图片的第二特征的步骤，包括：

基于所述第一特征确定所述训练样本图片中物体的语义特征；

基于所述标注信息确定所述训练样本图片中物体的标签特征；

通过教师模型对所述语义特征和所述标签特征进行交互处理，得到所述训练样本图片的第二特征。

3.根据权利要求2所述的神经网络模型的蒸馏方法，其特征在于，通过教师模型对所述语义特征和所述标签特征进行交互处理，得到所述训练样本图片的第二特征的步骤，包括：

根据所述训练样本图片中物体的语义特征和标签特征，确定所述训练样本图片中物体的实例特征；

对所述实例特征进行渲染处理，得到所述训练样本图片的第二特征。

4.根据权利要求3所述的神经网络模型的蒸馏方法，其特征在于，根据所述训练样本图片中物体的语义特征和标签特征，确定所述训练样本图片中物体的实例特征的步骤，包括：

将所述训练样本图片中所有物体的标签特征堆叠成第一矩阵，将所述训练样本图片中所有物体的语义特征堆叠成第二矩阵；

复制所述第二矩阵得到第三矩阵；

将所述第一矩阵和所述第二矩阵的转置作矩阵乘法后，除以所述第一特征的通道数得到第四矩阵；

对所述第四矩阵的每一行进行归一化处理后，与所述第三矩阵作矩阵乘法，得到第五矩阵；

将所述第五矩阵中每一行的行向量确定为所述训练样本图片中物体的实例特征。

5.根据权利要求3所述的神经网络模型的蒸馏方法，其特征在于，对所述实例特征进行渲染处理，得到所述训练样本图片的第二特征的步骤，包括：

遍历所述训练样本图片中的每个物体，将每个物体的实例特征填充到该物体的二值掩膜中值为1的位置，得到所述训练样本图片的第二特征。

6.根据权利要求2所述的神经网络模型的蒸馏方法，其特征在于，所述标注信息包括所述训练样本图片中物体的位置信息；

基于所述第一特征确定所述训练样本图片中物体的语义特征的步骤，包括：

对所述训练样本图片中每一个物体均进行下述操作：

根据该物体的位置信息构造该物体的第一掩膜；其中，所述训练样本图片中该物体的第一掩膜范围内的值为1，所述训练样本图片中在该物体的第一掩膜范围之外的其他范围的值为0；

将该物体的第一掩膜的尺寸映射至所述第一特征的尺寸，得到该物体的第二掩膜；

将所述第二掩膜与所述第一特征相乘后，再进行全局池化，得到该物体的语义特征。

7.根据权利要求2所述的神经网络模型的蒸馏方法，其特征在于，所述标注信息包括所述训练样本图片中物体的位置信息和类别信息；

基于所述标注信息确定所述训练样本图片中物体的标签特征的步骤，包括：

对所述训练样本图片中每一个物体均进行下述操作：

根据该物体的位置信息和类别信息构造该物体的描述子向量；

将所述描述子向量输入预设的编码网络，输出该物体的标签特征。

8.根据权利要求7所述的神经网络模型的蒸馏方法，其特征在于，根据该物体的位置信息和类别信息构造该物体的描述子向量的步骤，包括：

根据该物体的位置信息构造该物体的四维框位置向量，根据该物体的类别信息构造该物体的独热向量；

将所述四维框位置向量与所述独热向量拼接，得到该物体的描述子向量。