[发明专利]对神经网络执行训练的设备及其集成电路板卡

权利要求书

1.一种对神经网络执行训练的设备，其中训练所述神经网络包括前向传播过程和反向传播过程，所述设备包括：

前向处理单元，其配置用于在所述前向传播过程中，使用定点型的神经网络数据来对与所述神经网络的至少一个层相关联的前向算子执行运算；以及

反向处理单元，其配置用于在所述反向传播过程中，使用所述定点型的神经网络数据来对与所述前向算子对应的反向算子执行运算以执行更新操作。

2.根据权利要求1所述的设备，进一步包括：

量化单元，其配置用于利用量化算子对高精度数据类型的神经网络数据执行量化操作，以获得所述定点型的神经网络数据。

3.根据权利要求2所述的设备，其中所述量化算子包括量化策略算子和量化参数算子，其中所述量化策略算子至少用于确定是否执行量化参数的更新操作，而所述量化参数算子至少用于确定量化参数，并使用所述量化参数对所述高精度数据类型的神经网络数据执行所述量化操作。

4.根据权利要求1所述的设备，其中所述高精度数据类型是浮点型数据类型。

5.根据权利要求1-4的任意一项所述的设备，其中所述神经网络数据包括神经元和权值中的至少一种数据。

6.根据权利要求5所述的设备，其中所述神经网络的至少一个层是卷积层或全连接层。

7.根据权利要求6所述的设备，其中所述量化参数包括用于对神经元数据执行量化操作的神经元量化参数和用于对权值数据执行量化操作的权值量化参数，所述前向处理单元还配置用于在所述前向传播过程中执行：

根据所述神经元量化参数，使用所述量化参数算子将所述高精度数据类型的神经元数据量化成定点型的神经元数据；以及

根据所述权值量化参数，使用所述量化参数算子将所述高精度数据类型的权值数据量化成定点型的权值数据。

8.根据权利要求7所述的设备，其中在对前向算子执行运算中，所述前向处理单元配置用于：

使用所述神经元量化参数、权值量化参数、所述定点型的神经元数据和权值数据来执行前向算子的运算，以获得高精度数据类型的前向运算结果。

9.根据权利要求8所述的设备，其中所述前向处理单元还配置用于：

根据所述高精度数据类型的前向运算结果来获得高精度数据类型的输入梯度数据，以用于所述反向传播过程。

10.根据权利要求9所述的设备，其中所述量化参数还包括用于对所述输入梯度数据执行量化的梯度量化参数，所述量化单元还配置用于：

根据所述梯度量化参数，使用所述量化参数算子将高精度数据类型的输入梯度数据转换成所述定点型的输入梯度数据。

11.根据权利要求9所述的设备，其中所述更新操作包括权值更新操作，所述反向处理单元还配置用于：

使用所述梯度量化参数、所述神经元量化参数、所述定点型的神经元数据和所述定点型的输入梯度数据来获得高精度数据类型的权值梯度数据；

使用所述高精度数据类型的权值梯度数据来执行所述权值更新操作，以获得更新后的高精度数据类型的权值数据。

12.根据权利要求11所述的设备，其中所述更新操作包括梯度更新操作，所述反向处理单元还配置用于：

使用所述梯度量化参数、所述权值量化参数、所述定点型的权值数据和所述定点型的输入梯度数据来获得更新后的高精度数据类型的输入梯度数据，以用于所述反向传播过程中的下一层的所述权值更新操作。

13.一种集成电路板卡，包括根据权利要求1-12的任意一项所述的设备。