[发明专利]神经网络装置及其操作方法、应用处理器

权利要求书

1.一种配置为执行神经网络操作的神经网络装置，所述神经网络装置包括：

处理电路，其被配置为对多个浮点数据对中的每一个执行点积操作，

其中，所述处理电路被配置为通过对分别与所述多个浮点数据对相对应的多个分数部分乘法操作结果进行对齐移位来执行所述点积操作，所述对齐移位基于从分别与所述多个浮点数据对相对应的多个指数部分加法操作结果中确定的第一值。

2.根据权利要求1所述的神经网络装置，其中，所述多个浮点数据对包括多条输入数据，所述多条输入数据具有浮点16类型和脑浮点16类型中的至少一种的格式。

3.根据权利要求2所述的神经网络装置，其中，所述处理电路被配置为输出输出数据，所述输出数据具有浮点32类型的格式。

4.根据权利要求2所述的神经网络装置，其中，所述处理电路被配置为扩展所述输入数据当中的具有所述浮点16类型的格式的第一数据的指数部分的位区域，并且扩展所述输入数据当中的具有所述脑浮点16类型的格式的第二数据的分数部分的位区域。

5.根据权利要求4所述的神经网络装置，其中，所述处理电路被配置为扩展所述第一数据的指数部分的位区域以匹配所述第二数据的指数部分的位区域宽度。

6.根据权利要求4所述的神经网络装置，其中，所述处理电路被配置为扩展所述第二数据的分数部分的位区域以匹配所述第一数据的分数部分的位区域宽度。

7.根据权利要求1所述的神经网络装置，其中，所述处理电路被配置为在所述对齐移位中扩展或丢弃分数部分乘法操作结果，所述扩展或丢弃基于根据应用的操作精度而变化的位宽度，所述应用使用由所述神经网络装置生成的数据。

8.根据权利要求1所述的神经网络装置，其中，所述处理电路被配置为：

对多个整数数据对中的每一个执行乘法操作，以及

将经对齐移位的分数部分乘法操作结果求和。

9.根据权利要求1所述的神经网络装置，还包括：

缓冲器，其中

所述处理电路被配置为通过将与所述多个浮点数据对相对应的多个分数部分乘法操作结果和从所述缓冲器接收的第一累加数据的分数部分对齐移位并求和，来生成第二累加数据，生成所述第二累加数据基于通过附加地考虑所述第一累加数据的指数值而确定的所述第一值。

10.根据权利要求1所述的神经网络装置，其中，所述处理电路被配置为通过将经对齐移位的分数部分乘法操作结果求和以及对所述求和的结果进行归一化和四舍五入，来生成输出数据。

11.根据权利要求10所述的神经网络装置，其中，所述输出数据具有与在所述多个浮点数据对中包括的多条输入数据的格式不同的格式。

12.根据权利要求1所述的神经网络装置，其中，所述处理电路被配置为：将所述多个分数部分乘法操作结果在分别对应于所述多个指数部分加法操作结果与所述第一值之差的方向上对齐移位分别对应于所述多个指数部分加法操作结果与所述第一值之差的位数。

13.一种操作神经网络装置的方法，所述方法包括步骤：

从存储器接收多个浮点数据对；以及

对所述多个浮点数据对中的每一个执行点积操作，

其中，执行所述点积操作的步骤包括：

对所述多个浮点数据对中的每一个执行指数部分加法操作；

对所述多个浮点数据对中的每一个执行分数部分乘法操作；

从分别与所述多个浮点数据对中的每一个相对应的多个指数部分加法操作结果中确定第一值；以及

基于所述第一值，将分别与所述多个浮点数据对中的每一个相对应的多个分数部分乘法操作结果进行对齐移位。