[发明专利]模型生成方法、装置、电子设备及存储介质

权利要求书

1.一种模型生成方法，包括：

获取第一模型；

通过执行N次迭代操作搜索得到目标模型；其中，N为大于等于2的整数；

其中，所述N次迭代操作中的第i次迭代操作包括：

基于第i个模型编码生成器得到第i个待训练的第二模型；其中，i为大于等于1且小于等于N的整数；其中，所述待训练的第二模型的结构复杂度低于所述第一模型的结构复杂度；

基于所述第一模型对第i个待训练的第二模型进行蒸馏，得到第二模型；

若所述迭代操作的累计次数达到预设的次数阈值N，则将所述第二模型作为搜索得到的所述目标模型。

2.根据权利要求1所述的方法，其中，所述方法还包括：

对第i-1次迭代操作得到的第二模型进行量化，得到量化后的第二模型；

对所述量化后的第二模型进行性能评估；

基于性能评估结果，对模型编码生成器进行更新，得到第i个模型编码生成器。

3.根据权利要求1所述的方法，其中，所述基于第i个模型编码生成器得到第i个待训练的第二模型，包括：

基于所述第i个模型编码生成器生成模型编码；

基于模型搜索空间对所述模型编码进行解码，得到第i个待训练的第二模型。

4.根据权利要求1所述的方法，其中，所述基于所述第一模型对第i个待训练的第二模型进行蒸馏，得到第二模型，包括：

采用训练数据，对所述第一模型以及所述第i个待训练的第二模型进行前向传播，得到第一损失函数；

基于所述第一损失函数更新所述第i个待训练的第二模型，直至针对第i个待训练的第二模型的更新次数达到预设门限值，得到第二模型。

5.根据权利要求4所述的方法，其中，所述第一损失函数包括：表征所述第一模型和所述待训练的第二模型分别提取出的特征之间的差异的蒸馏损失函数；

和/或，

表征所述第一模型和所述待训练的第二模型分别对深度学习任务的执行结果之间的差异的任务损失函数。

6.根据权利要求1所述的方法，其中，所述将所述第二模型作为搜索得到的所述目标模型，还包括：

将搜索得到的所述第二模型进行量化，将量化后的第二模型作为所述目标模型。

7.根据权利要求1-6任一项所述的方法，其中，所述方法还包括：

获取待识别人脸图像；其中，所述待识别人脸图像中的部分人脸区域处于遮挡状态；

基于所述目标模型以及所述待识别人脸图像，得到人脸图像的识别结果。

8.一种模型生成装置，包括：

获取模块，用于获取第一模型；

模型生成模块，用于执行N次迭代操作搜索得到目标模型；其中，N为大于等于2的整数；

其中，所述模型生成模块，具体用于在所述N次迭代操作中的第i次迭代操作中，基于第i个模型编码生成器得到第i个待训练的第二模型；其中，i为大于等于1且小于等于N的整数；其中，所述待训练的第二模型的结构复杂度低于所述第一模型的结构复杂度；基于所述第一模型对第i个待训练的第二模型进行蒸馏，得到第二模型；若所述迭代操作的累计次数达到预设的次数阈值N，则将所述第二模型作为搜索得到的所述目标模型。

9.根据权利要求8所述的装置，其中，所述模型生成模块，用于对第i-1次迭代操作得到的第二模型进行量化，得到量化后的第二模型；对所述量化后的第二模型进行性能评估；基于性能评估结果，对模型编码生成器进行更新，得到第i个模型编码生成器。

10.根据权利要求8所述的装置，其中，所述模型生成模块，用于基于所述第i个模型编码生成器生成模型编码；基于模型搜索空间对所述模型编码进行解码，得到第i个待训练的第二模型。