[发明专利]神经网络设备及其操作方法、以及应用处理器

权利要求书

1.一种神经网络设备，所述神经网络设备包括：

计算电路，包括第一乘法器、第二乘法器、对齐移位器和加法器，其中所述加法器共享所述第一乘法器和所述第二乘法器，其中所述计算电路对多个浮点数据对执行第一点积运算或对多个整数数据对执行第二点积运算，

其中，在所述第一点积运算中，所述计算电路使用所述第一乘法器分别根据所述多个浮点数据对获取多个分数乘法结果，使用所述对齐移位器基于从分别与所述多个浮点数据对相对应的多个指数加法结果中识别出的最大值来对所述多个分数乘法结果执行对齐移位，使用所述加法器将对齐的多个分数乘法结果相加并输出第一累积数据，以及

在所述第二点积运算中，所述计算电路使用所述第二乘法器分别根据所述多个整数数据对获取多个整数乘法结果，使用所述加法器将所述多个整数乘法结果相加并输出第二累积数据。

2.根据权利要求1所述的神经网络设备，其中，所述加法器包括：

第一加法电路，在所述第一点积运算中将所述对齐的多个分数乘法结果的高位相加；以及

第二加法电路，在所述第一点积运算中将所述对齐的多个分数乘法结果的低位相加，或者在所述第二点积运算中将所述多个整数乘法结果相加。

3.根据权利要求2所述的神经网络设备，其中，所述计算电路还包括：

第一后加法器，在所述第一点积运算中，将从所述第一加法电路输出的加法结果数据与从所述第二加法电路输出的加法结果数据相加，对所述加法结果数据进行归一化和取整，并输出所述第一累积数据；以及

第二后加法器，在所述第二点积运算中，将从所述第二加法电路输出的所述加法结果数据相加并输出所述第二累积数据。

4.根据权利要求3所述的神经网络设备，其中，所述计算电路接收包括第一整数数据对和第二整数数据对在内的所述多个整数数据对，并且

在所述第二点积运算中，使用所述第一乘法器获取关于所述第一整数数据对的第一整数乘法结果，并且使用所述第二乘法器获取关于所述第二整数数据对的第二整数乘法结果。

5.根据权利要求4所述的神经网络设备，其中，所述第一加法电路在所述第二点积运算中将所述第一整数乘法结果相加，并且

其中，所述第二加法电路在所述第二点积运算中将所述第二整数乘法结果相加。

6.根据权利要求5所述的神经网络设备，其中，在所述第二点积运算中，所述第二后加法器将从所述第一加法电路输出的所述加法结果数据与从所述第二加法电路输出的所述加法结果数据相加，并且输出所述第二累积数据。

7.根据权利要求3所述的神经网络设备，其中，当执行所述第一点积运算时，所述计算电路选通所述第二乘法器和所述第二后加法器，并且

当执行所述第二点积运算时，选通所述对齐移位器和所述第一后加法器。

8.根据权利要求1所述的神经网络设备，其中，包括在所述多个浮点数据对中的多个输入数据项具有与所述第一累积数据的格式类型不同类型的格式，并且

其中，包括在所述多个整数数据对中的多个输入数据项具有与所述第二累积数据的格式类型不同类型的格式。

9.根据权利要求8所述的神经网络设备，其中，包括在所述多个浮点数据对中的所述多个输入数据项具有浮点16“FP16”型格式或脑浮16“BF16”型格式，并且

其中，第一累积数据具有浮点32“FP32”型格式。

10.根据权利要求9所述的神经网络设备，其中，所述计算电路扩展所述多个输入数据项中的具有所述FP16型格式的第一数据的指数位字段，并且扩展所述多个输入数据项中的具有所述BF16型格式的第二数据的分数位字段。

11.根据权利要求8所述的神经网络设备，其中，所述多个整数数据对中的所述多个输入数据项具有整数8“INT8”型格式，并且

其中，所述第二累积数据具有整数32“INT32”型格式。