[发明专利]神经网络模型的蒸馏方法和装置

权利要求书

1.一种神经网络模型的蒸馏方法，包括：

构建蒸馏策略的搜索空间，所述蒸馏策略包括基于至少一个预设的第一神经网络模型蒸馏训练第二神经网络模型所采用的蒸馏损失函数；

通过执行多次迭代操作对所述第二神经网络模型进行蒸馏训练，所述迭代操作包括：

采用预设的控制器从所述蒸馏策略的搜索空间中搜索出候选蒸馏策略，基于所述候选蒸馏策略，将所述预设的至少一个第一神经网络模型作为教师网络对所述第二神经网络模型进行蒸馏训练；

获取基于所述候选蒸馏策略蒸馏后的第二神经网络模型的性能，并根据所述蒸馏后的第二神经网络模型的性能生成反馈信息；

根据所述反馈信息更新所述控制器；

响应于根据所述反馈信息确定当前的迭代操作未达到预设的收敛条件，基于更新后的所述控制器执行下一次所述迭代操作。

2.根据权利要求1所述的方法，其中，所述蒸馏策略的搜索空间包括蒸馏损失函数的候选构建方法；

所述蒸馏损失函数的候选构建方法包括：

基于所述第一神经网络模型与所述第二神经网络模型提取出的特征的差异构建特征损失函数作为蒸馏损失函数；

基于所述第一神经网络模型与所述第二神经网络模型提取出的特征的差异构建特征损失函数，基于所述第二神经网络模型的预测误差构建任务损失函数，根据所述特征损失函数和所述任务损失函数的加权和构建蒸馏损失函数。

3.根据权利要求1或2所述的方法，其中，所述预设的第一神经网络模型的数量为至少两个；以及

所述蒸馏策略的搜索空间包括：

各个预设的第一神经网络模型对应的蒸馏损失函数的候选权重；和/或

各个预设的第一神经网络模型在蒸馏训练所述第二神经网络模型时的候选蒸馏次序。

4.根据权利要求1所述的方法，其中，所述迭代操作还包括：

将达到所述预设的收敛条件的迭代操作中搜索出的候选蒸馏策略确定为所述第二神经网络模型的最优蒸馏策略。

5.根据权利要求4所述的方法，其中，所述方法还包括：

利用达到所述预设的收敛条件的迭代操作中蒸馏后的第二神经网络模型对待处理的深度学习任务数据进行处理。

6.一种神经网络模型的蒸馏装置，包括：

构建单元，被配置为构建蒸馏策略的搜索空间，所述蒸馏策略包括基于至少一个预设的第一神经网络模型蒸馏训练第二神经网络模型所采用的蒸馏损失函数；

训练单元，被配置为通过执行多次迭代操作对所述第二神经网络模型进行蒸馏训练；

所述训练单元包括：

搜索单元，被配置为执行迭代操作中的如下步骤：采用预设的控制器从所述蒸馏策略的搜索空间中搜索出候选蒸馏策略，基于所述候选蒸馏策略，将所述预设的至少一个第一神经网络模型作为教师网络对所述第二神经网络模型进行蒸馏训练；

生成单元，被配置为执行迭代操作中的如下步骤：获取基于所述候选蒸馏策略蒸馏后的第二神经网络模型的性能，并根据所述蒸馏后的第二神经网络模型的性能生成反馈信息；

更新单元，被配置为执行迭代操作中的如下步骤：根据所述反馈信息更新所述控制器；

反馈单元，被配置为执行迭代操作中的如下步骤：响应于根据所述反馈信息确定当前的迭代操作未达到预设的收敛条件，基于更新后的所述控制器执行下一次所述迭代操作。

7.根据权利要求6所述的装置，其中，所述蒸馏策略的搜索空间包括蒸馏损失函数的候选构建方法；

所述蒸馏损失函数的候选构建方法包括：

基于所述第一神经网络模型与所述第二神经网络模型提取出的特征的差异构建特征损失函数作为蒸馏损失函数；

基于所述第一神经网络模型与所述第二神经网络模型提取出的特征的差异构建特征损失函数，基于所述第二神经网络模型的预测误差构建任务损失函数，根据所述特征损失函数和所述任务损失函数的加权和构建蒸馏损失函数。