[发明专利]生成神经网络模型的方法、装置及存储介质

说明书

本申请公开了一种生成神经网络模型的方法及装置，属于深度学习领域。本申请通过第一神经网络模型中的N个层来确定得到第二神经网络模型。其中，第一神经网络模型是已经训练好的模型，第二神经网络模型包括第一神经网络模型的N个层，并且，第二神经网络模型中的N个层中除批归一化层之外的其余层的参数均采用第一神经网络模型中的对应层的参数。由此可见，在本申请中，通过第一神经网络模型中的部分层得到的第二神经网络模型可以与第一神经网络模型中对应的层共用参数。这样，只需要训练好一个网络模型，即可根据该训练好的模型得到适配不同运算平台的不同深度的模型，无需重新对不同深度的模型进行训练，省时省力，且节省资源。

技术领域

本申请涉及深度学习技术领域，特别涉及一种生成神经网络模型的方法、装置及计算机可读存储介质。

背景技术

神经网络模型的层数(也可以称为深度)是影响神经网络模型的运行速度的关键因素之一。由于不同的运算平台的运算能力不同，因此，对于一个层数较多的神经网络模型，在某些运算平台上运行该神经网络模型时可能会存在大幅的运行延迟。基于此，为了适配这一类的运算平台，可以根据运算平台的运算能力对该神经网络模型的层进行调整，以提高运算性能。

相关技术中，在对神经网络模型的层进行调整时，首先根据运算平台的运算能力确定该神经网络模型中的多个冗余层。之后，对多个冗余层进行裁剪。对裁剪后的神经网络模型重新进行训练，从而生成层数更少且更适合该运算平台的神经网络模型。

然而，由于相关技术中每根据运行平台的运算能力进行一次裁剪之后，均需要重新对裁剪后的神经网络模型进行重新训练，因此，费时费力，且浪费训练资源。

发明内容

本申请实施例提供了一种生成神经网络模型的方法及装置，可以用于解决相关技术中根据运行平台的运算能力进行神经网络模型裁剪以得到新的神经网络模型时，费时费力且浪费训练资源的问题。所述技术方案如下：

一方面，提供了一种生成神经网络模型的方法，所述方法包括：

获取第一神经网络模型，所述第一神经网络模型是指已训练的网络模型；

根据所述第一神经网络模型中的N个层，构建第二神经网络模型，所述第一神经网络模型包括的层的数量大于所述N；

其中，所述第二神经网络模型包括所述第一神经网络模型中的N个层，所述第二神经网络模型的N个层中的批归一化BN层的参数信息是通过对所述第一神经网络模型中对应的BN层的参数信息进行调整得到，所述第二神经网络模型的N个层中除所述BN层之外的其余层的参数信号采用所述第一神经网络模型中对应层的参数信号。

可选地，所述方法还包括：

根据第一控制数组，从初始神经网络模型中采样与所述第一控制数组对应的神经网络模型，所述第一控制数组用于指示从所述初始神经网络模型中采样的层的位置；

根据所述多个第一训练样本对采样的神经网络模型进行训练；

根据训练后的神经网络模型中每个层的参数信息对所述初始神经网络模型中对应的层的参数信息进行更新，并对所述第一控制数组进行更新，返回所述根据第一控制数组，从初始神经网络模型中采样与所述第一控制数组对应的神经网络模型的步骤，直到达到训练截止条件为止，将最后一次更新的初始神经网络模型作为所述第一神经网络模型。

可选地，所述根据所述第一神经网络模型中的N个层，构建第二神经网络模型，包括：

获取第二控制数组，所述第二控制数组用于指示待采样的所述第一神经网络模型中N个层的位置；

根据所述第二控制数组，从所述第一神经网络模型中采样N个层；

根据采样得到的N个层，构建第三神经网络模型；