[发明专利]模型生成方法、装置、电子设备及存储介质

权利要求书

1.一种模型生成方法，包括：

获取第一模型以及待训练的第二模型；其中，所述待训练的第二模型的网络复杂度低于第一模型；

基于所述第一模型以及待训练的第二模型进行多次第一迭代处理，得到第二模型；

对所述第二模型进行量化处理得到目标模型。

2.根据权利要求1所述的方法，其中，所述基于所述第一模型以及待训练的第二模型进行多次第一迭代处理，得到第二模型，包括：

基于所述第一模型对所述待训练的第二模型进行前向传播，得到第一损失函数；

基于所述第一损失函数更新所述待训练的第二模型，再基于第一模型以及更新后的所述待训练的第二模型进行前向传播，直至第一迭代操作的累计次数达到预设第一次数，确定得到第二模型。

3.根据权利要求1所述的方法，其中，对所述第二模型进行量化处理得到目标模型，包括：

对第二模型进行量化，基于量化的第二模型以及所述第一模型进行多次第二迭代处理，得到目标模型。

4.根据权利要求3所述的方法，其中，所述对第二模型进行量化，基于量化的第二模型以及所述第一模型进行多次第二迭代处理，得到目标模型，包括：

对第二模型进行量化，获取量化后的第二模型的第二损失函数；

对所述第二模型以及所述第一模型进行前向传播，得到第一损失函数；

基于所述第一损失函数和/或所述第二损失函数，更新所述第二模型，再基于更新后的第二模型进行量化，以及基于第一模型以及更新后的所述量化的第二模型进行前向传播，直至第二迭代操作的累计次数达到预设第二次数，得到量化后的第二模型；

将所述量化后的第二模型作为所述目标模型。

5.根据权利要求2所述的方法，其中，所述第一损失函数包括：

用于表征第一模型以及所述待训练的第二模型分别提取出的特征之间的差异的蒸馏损失函数；

和/或，

用于表征第一模型以及待训练的第二模型对任务的执行结果之间的差异的任务损失函数。

6.根据权利要求1-4任一项所述的方法，其中，所述方法还包括：

获取待识别人脸图像；其中，所述待识别人脸图像中的部分人脸区域处于遮挡状态；

基于所述目标模型以及所述待识别人脸图像，得到人脸图像的识别结果。

7.一种模型生成装置，包括：

获取模块，用于获取第一模型以及待训练的第二模型；其中，所述待训练的第二模型的网络复杂度低于第一模型；

模型蒸馏模块，用于基于所述第一模型以及待训练的第二模型进行多次第一迭代处理，得到第二模型；

模型量化模块，用于对所述第二模型进行量化处理得到目标模型。

8.根据权利要求7所述的装置，其中，所述模型蒸馏模块，用于基于所述第一模型对所述待训练的第二模型进行前向传播，得到第一损失函数；

基于所述第一损失函数更新所述待训练的第二模型，再基于第一模型以及更新后的所述待训练的第二模型进行前向传播，直至第一迭代操作的累计次数达到预设第一次数，确定得到第二模型。

9.根据权利要求7所述的装置，其中，所述模型量化模块，用于对第二模型进行量化，基于量化的第二模型以及所述第一模型进行多次第二迭代处理，得到目标模型。

10.根据权利要求9所述的装置，其中，所述模型量化模块，用于对第二模型进行量化，获取量化后的第二模型的第二损失函数；对所述第二模型以及所述第一模型进行前向传播，得到第一损失函数；基于所述第一损失函数和/或所述第二损失函数，更新所述第二模型，再基于更新后的第二模型进行量化，以及基于第一模型以及更新后的所述量化的第二模型进行前向传播，直至第二迭代操作的累计次数达到预设第二次数，得到量化后的第二模型；

将所述量化后的第二模型作为所述目标模型。