[发明专利]一种神经网络模型生成方法及装置

说明书

本发明实施例提供了一种神经网络模型生成方法及装置，方法包括：获取预设结构的第一神经网络模型；其中，第一神经网络模型包括至少一个批标准化BN层；基于目标样本图像和目标损失函数，对第一神经网络模型进行模型训练，得到第二神经网络模型；其中，目标损失函数为基于原始损失函数和BN层的模型参数计算得到的；确定第二神经网络模型中除目标卷积核以外的网络模型结构，作为第三神经网络模型；其中，目标卷积核为第二神经网络模型中对应的BN层的模型参数的绝对值小于目标阈值的卷积核；基于第三神经网络模型，生成目标神经网络模型。如此，能够降低目标神经网络模型的结构复杂度，提高目标神经网络模型的适用性。

技术领域

本发明涉及深度学习技术领域，特别是涉及一种神经网络模型生成方法及装置。

背景技术

随着计算机技术的快速发展，以深度学习为代表的AI(ArtificialIntelligence，人工智能)技术在各方面得到了广泛应用。例如，基于样本图像和预设损失函数，对预设结构的神经网络模型进行训练，使得训练得到的神经网络模型可以自动识别图像中的对象(例如，人物、动物等)。

然而，学习能力强、拟合能力好的神经网络模型的结构比较复杂，相应的，基于训练得到的神经网络模型对数据进行处理，对运行该神经网络模型的设备的性能要求较高，也就导致相关技术中神经网络模型的适用性较差。

发明内容

本发明实施例的目的在于提供一种神经网络模型生成方法及装置，以降低神经网络模型的结构复杂度，提高神经网络模型的适用性。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种神经网络模型生成方法，所述方法包括：

获取预设结构的第一神经网络模型；其中，所述第一神经网络模型包括至少一个BN(Batch Normalization，批标准化)层；

基于目标样本图像和目标损失函数，对所述第一神经网络模型进行模型训练，得到第二神经网络模型；其中，所述目标损失函数为基于原始损失函数和所述BN层的模型参数计算得到的；所述第二神经网络模型的输入参数为所述目标样本图像、输出参数为所述目标样本图像中每一像素点属于预设类别的概率；

确定所述第二神经网络模型中除目标卷积核以外的网络模型结构，作为第三神经网络模型；其中，所述目标卷积核为所述第二神经网络模型中对应的BN层的模型参数的绝对值小于目标阈值的卷积核；

基于所述第三神经网络模型，生成目标神经网络模型。

可选的，所述目标损失函数的计算过程包括：

针对每一BN层，基于预设公式计算该BN层对应的正则化约束；其中，所述预设公式为：

R＝λ₁|γ|+λ₂|β|

R表示该BN层对应的正则化约束，λ₁和λ₂表示预设权重；γ表示该BN层的缩放因子，β表示该BN层的偏置；|γ|表示γ的范数，|β|表示β的范数；

计算各个BN层对应的正则化约束与所述原始损失函数的总和值，得到所述目标损失函数。

可选的，所述基于所述第三神经网络模型，生成目标神经网络模型，包括：

针对所述第三神经网络模型中的每一BN层，按照该BN层的前一网络层输出数据的维度，对该BN层的维度进行调整，得到第四神经网络模型；

基于所述目标样本图像和所述原始损失函数，对所述第四神经网络模型进行模型训练，得到目标神经网络模型。

可选的，在确定所述第二神经网络模型中除目标卷积核以外的网络模型结构，作为第三神经网络模型之前，所述方法还包括：