[发明专利]模型生成方法和装置

说明书

本公开实施例公开了模型生成方法和装置。该方法的具体实施方式包括：获取训练样本数据；在基于该训练样本数据和待训练模型的前向传播过程中，利用第一精度类型的数据进行计算，得到第一精度类型的实际输出；在基于该实际输出和该待训练模型的反向传播过程中，利用第二精度类型的数据进行计算，其中，该第一精度类型和该第二精度类型不同。该实施方式提供了新的模型生成方式。

技术领域

本公开实施例涉及计算机技术领域，具体涉及模型生成方法和装置。

背景技术

随着人工智能的发展，基于神经网络的模型在越来越多的场景中发挥作用。神经网络可以指人工神经网络(Artificial Neural Network，ANN)。神经网络通常是一种运算模型，由大量的节点(或称神经元)之间相互连接构成。每个节点可以代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。

在对基于神经网络的模型的训练过程中，现有技术中通常采用一种精度类型的数据进行计算。

发明内容

本公开实施例提出了模型生成方法和装置。

第一方面，本公开实施例提供了一种模型生成方法，该方法包括：获取训练样本数据；在基于该训练样本数据和待训练模型的前向传播过程中，利用第一精度类型的数据进行计算，得到第一精度类型的实际输出；在基于该实际输出和该待训练模型的反向传播过程中，利用第二精度类型的数据进行计算，其中，该第一精度类型和该第二精度类型不同。

在一些实施例中，该第一精度类型或者第二精度类型为半精度类型。

在一些实施例中，该第一精度类型指示的精度小于该第二精度类型指示的精度。

在一些实施例中，该第一精度类型指示的精度大于该第二精度类型指示的精度。

在一些实施例中，该在基于该训练样本数据和待训练模型的前向传播过程中，利用第一精度类型的数据进行计算，得到第一精度类型的实际输出，包括：响应于确定该训练样本数据不是第一精度类型的数据，将该训练样本数据转换为第一精度类型的数据，生成第一训练样本数据；响应于确定待训练模型的网络参数不是第一精度类型的数据，将该网络参数转换为第一精度类型的数据，生成第一网络参数；利用该第一训练样本数据和该第一网络参数，进行前向传播计算，得到第一精度类型的实际输出。

在一些实施例中，上述在基于该实际输出和该待训练模型的反向传播过程中，利用第二精度类型的数据进行计算，包括：将该实际输出由第一精度类型转换为第二精度类型；响应于确定待训练模型的网络参数不是第二精度类型的数据，将该网络参数转换为第二精度类型的数据，生成第二网络参数；根据第二精度类型的实际输出和该第二网络参数，进行反向传播计算，以更新该第二网络参数。

第二方面，本公开实施例提供了一种模型生成装置，该装置包括：获取单元，被配置成获取训练样本数据；前向传播单元，被配置成在基于该训练样本数据和待训练模型的前向传播过程中，利用第一精度类型的数据进行计算，得到第一精度类型的实际输出；反向传播单元，被配置成在基于该实际输出和该待训练模型的反向传播过程中，利用第二精度类型的数据进行计算，其中，该第一精度类型和该第二精度类型不同。

在一些实施例中，该第一精度类型或者第二精度类型为半精度类型。

在一些实施例中，该第一精度类型指示的精度小于该第二精度类型指示的精度。

在一些实施例中，该第一精度类型指示的精度大于该第二精度类型指示的精度。