[发明专利]模型的蒸馏方法、装置、电子设备及存储介质

权利要求书

1.一种模型的蒸馏方法，包括：

获取教师模型和学生模型，其中，所述教师模型具有第一中间全连接层，所述学生模型具有第二中间全连接层，所述第一中间全连接层的输入和输出均为第一数据处理量M，所述第二中间全连接层的输入和输出均为第二数据处理量N，其中，M和N为正整数，且M大于N；

根据所述第一数据处理量M和所述第二数据处理量N将所述第二中间全连接层转换为放大全连接层和缩小全连接层，并用所述放大全连接层和所述缩小全连接层对所述第二中间全连接层进行替代以生成训练学生模型；其中，所述放大全连接层的输入为N，所述放大全连接层的输出为M，所述缩小全连接层的输入为M，所述缩小全连接层的输出为N，所述放大全连接层之中不具有激活函数；以及

获取蒸馏损失，并根据所述蒸馏损失和所述教师模型对所述训练学生模型进行蒸馏训练。

2.如权利要求1所述的模型的蒸馏方法，其中，在所述根据所述教师模型对所述训练学生模型进行蒸馏训练之后，还包括：

对训练之后的训练学生模型进行转换以生成预测模型。

3.如权利要求2所述的模型的蒸馏方法，其中，所述对训练之后的训练学生模型进行转换以生成预测模型，包括：

将所述训练之后的训练学生模型之中的所述放大全连接层和所述缩小全连接层合并为第三中间全连接层，以生成所述预测模型。

4.一种模型的蒸馏装置，包括：

获取模块，用于获取教师模型和学生模型，其中，所述教师模型具有第一中间全连接层，所述学生模型具有第二中间全连接层，所述第一中间全连接层的输入和输出均为第一数据处理量M，所述第二中间全连接层的输入和输出均为第二数据处理量N，其中，M和N为正整数，且M大于N；

转换替代模块，用于根据所述第一数据处理量M和所述第二数据处理量N将所述第二中间全连接层转换为放大全连接层和缩小全连接层，并用所述放大全连接层和所述缩小全连接层对所述第二中间全连接层进行替代以生成训练学生模型；其中，所述放大全连接层的输入为N，所述放大全连接层的输出为M，所述缩小全连接层的输入为M，所述缩小全连接层的输出为N，所述放大全连接层之中不具有激活函数；

蒸馏模块，用于获取蒸馏损失，并根据所述蒸馏损失和所述教师模型对所述训练学生模型进行蒸馏训练。

5.如权利要求4所述的模型的蒸馏装置，其中，所述装置还包括：

转换模块，用于对训练之后的训练学生模型进行转换以生成预测模型。

6.如权利要求5所述的模型的蒸馏装置，其中，所述转换模块具体用于：

将所述训练之后的训练学生模型之中的所述放大全连接层和所述缩小全连接层合并为第三中间全连接层，以生成所述预测模型。

7. 一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的模型的蒸馏方法。

8.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的模型的蒸馏方法。