[发明专利]模型的蒸馏方法、装置、电子设备及存储介质

说明书

本申请公开了模型的蒸馏方法、装置、电子设备及存储介质，涉及深度学习技术领域。具体实现方案为：首先，获取教师模型和学生模型；接着，根据教师模型第一中间全连接层的第一数据处理量和学生模型第二中间全连接层的第二数据处理量，将第二中间全连接层转换为放大全连接层和缩小全连接层，并用放大全连接层和缩小全连接层对第二中间全连接层进行替代以生成训练学生模型；之后，根据教师模型对训练学生模型进行蒸馏训练。该方法通过将第二中间全连接层替换为放大全连接层和缩小全连接层，并根据教师模型对训练学生模型进行蒸馏训练，由此，在训练学生模型的中间层进行蒸馏，不需要引入额外全连接层，没有参数冗余，极大地提高了蒸馏效率和效果。

技术领域

本申请涉及人工智能技术领域，具体涉及深度学习技术领域，尤其涉及模型的蒸馏方法、装置、电子设备及计算机可读存储介质。

背景技术

目前，深度神经网络模型在人工智能领域具有广泛的应用。其中，大部分效果好的模型都需要复杂的计算量，在互联网场景中难以做到实时计算。

相关技术中，将复杂的大模型通过蒸馏计算获得一个计算量小的小模型以解决上述问题，主要有两种方式，第一种方式是，在神经网络的最后一层进行蒸馏，将大模型的预测结果作为软标签，辅助小模型进行训练；第二种方式是，在大模型和小模型的中间层进行蒸馏，由于大模型和小模型的隐藏层不同，在中间引入一个额外的全连接层进行过渡。但是，上述第一种方式，由于只在神经网络的最后一层进行蒸馏，蒸馏的效率低，总体效果较差；上述第二种方式，使用一个额外的全连接层进行蒸馏，存在部分参数浪费，蒸馏效果不理想。

发明内容

提供了一种模型的蒸馏方法、装置、电子设备及存储介质。

根据第一方面，提供了一种模型的蒸馏方法，通过将训练学生模型的第二中间全连接层替换为放大全连接层和缩小全连接层，并根据教师模型对训练学生模型进行蒸馏训练，由此，在训练学生模型的中间层进行蒸馏，不需要引入额外全连接层，没有参数冗余，极大地提高了蒸馏效率和效果。

本申请第二方面提出了一种模型的蒸馏装置。

本申请第三方面提出了一种电子设备。

本申请第四方面提出了一种存储有计算机指令的非瞬时计算机可读存储介质。

本申请第一方面实施例提出了一种模型的蒸馏方法，包括：获取教师模型和学生模型，其中，所述教师模型具有第一中间全连接层，所述学生模型具有第二中间全连接层，所述第一中间全连接层的输入和输出均为第一数据处理量M，所述第二中间全连接层的输入和输出均为第二数据处理量N，其中，M和N为正整数，且M大于N；根据所述第一数据处理量M和所述第二数据处理量N将所述第二中间全连接层转换为放大全连接层和缩小全连接层，并用所述放大全连接层和所述缩小全连接层对所述第二中间全连接层进行替代以生成训练学生模型；以及根据所述教师模型对所述训练学生模型进行蒸馏训练。

本申请实施例的模型的蒸馏方法，通过获取教师模型和学生模型，其中，所述教师模型具有第一中间全连接层，所述学生模型具有第二中间全连接层，所述第一中间全连接层的输入和输出均为第一数据处理量M，所述第二中间全连接层的输入和输出均为第二数据处理量N，其中，M和N为正整数，且M大于N；根据所述第一数据处理量M和所述第二数据处理量N将所述第二中间全连接层转换为放大全连接层和缩小全连接层，并用所述放大全连接层和所述缩小全连接层对所述第二中间全连接层进行替代以生成训练学生模型；以及根据所述教师模型对所述训练学生模型进行蒸馏训练，该方法通过将训练学生模型的第二中间全连接层替换为放大全连接层和缩小全连接层，并根据教师模型对训练学生模型进行蒸馏训练，由此，在训练学生模型的中间层进行蒸馏，不需要引入额外全连接层，没有参数冗余，极大地提高了蒸馏效率和效果。