[发明专利]神经网络层运算、模型训练方法、装置及设备

说明书

本发明实施例提供一种神经网络层运算、模型训练方法、装置及设备，本实施例以第一EXP算法的训练样本集作为第一EXP算法和第二EXP算法的输入数据，确定第一EXP算法和第二EXP算法的函数值间的差值，并依据差值来调整第一EXP算法的参数，从而获得用来替换第二EXP算法的第一EXP算法，在模型训练阶段，通过将包含目标参数的第一EXP算法替换指定网络层使用的第二EXP算法，提高指定网络层计算效率的同时，减少精度误差。

技术领域

本发明涉及计算机处理的技术领域，尤其涉及神经网络层运算、模型训练方法、装置及设备。

背景技术

神经网络又称为人工神经网络，是机器学习和深度学习的基础，目前主要有CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)等。可以利用样本数据对神经网络进行训练，获得训练好的神经网络模型，以利用该神经网络模型对新的数据进行预测等。譬如，预先基于大量的训练样本进行卷积神经网络模型的训练，生成识别图像中物体类别的检测模型。利用卷积神经网络模型可以识别出待识别图像的物体类别。

某些神经网络的网络层中，所涉及的函数中可能使用了以自然常数e为底的指数函数(EXP)。例如，诸如sigmoid函数或者softmax函数的激活函数中包含第二EXP算法，也可以称为标准EXP算法、默认EXP算法。在模型训练阶段或模型应用阶段，会执行网络层中第二EXP算法，虽然第二EXP算法的精度高，但是计算速度慢，在单指令流多数据流(SIMD)的处理器中也无法并行计算。而目前采用带固定修正参数的第一EXP算法(也可以称为快速EXP算法)代替标准EXP算法，虽然解决了计算速度问题，但存在精度误差。

发明内容

为克服相关技术中存在的问题，本发明提供了神经网络层运算、模型训练方法、装置及设备。

根据本发明实施例的第一方面，提供一种神经网络层运算方法，所述方法包括：

在模型训练或模型应用阶段，执行当前网络层所使用的第一EXP算法，得到所述当前网络层执行所述第一EXP算法的运算之后的结果，

所述第一EXP算法包含目标参数，所述目标参数参与所述第一EXP算法的运算、且所述目标参数是利用第一EXP算法和第二EXP算法的函数值差异调整获得，所述第一EXP算法为第二EXP算法的快速算法。

根据本发明实施例的第二方面，提供一种模型训练方法，所述方法包括：

获取第一EXP算法的训练样本集，所述训练样本集包括：第二神经网络模型中指定网络层使用的第二EXP算法的输入数据；所述第一EXP算法为第二EXP算法的快速算法；

针对训练样本集中的每一样本，计算该样本分别运行所述第一EXP算法和所述第二EXP算法的函数值之间的误差值；

根据所述训练样本集中每一样本对应的误差值，调整所述第一EXP算法中的参数，直到收敛条件满足，将当前确定的参数确定为所述第一EXP算法的目标参数；

以与所述第二神经网络模型相同的网络结构、以及将指定网络层的第二EXP算法替换为包含目标参数的第一EXP算法，进行模型训练，获得第一神经网络模型。

根据本发明实施例的第三方面，提供一种神经网络层运算装置，所述装置包括：

处理模块，用于在模型训练或模型应用阶段，执行当前网络层所使用的第一EXP算法，得到所述当前网络层执行所述第一EXP算法的运算之后的结果，

所述第一EXP算法包含目标参数，所述目标参数参与所述第一EXP算法的运算、且所述目标参数是利用第一EXP算法和第二EXP算法的函数值差异调整获得，所述第一EXP算法为第二EXP算法的快速算法。

根据本发明实施例的第四方面，提供一种模型训练装置，所述装置包括：