[发明专利]使用共享指数的块浮点计算

权利要求书

1.一种用于神经网络中的块浮点计算的系统，所述系统包括：

至少一个处理器；以及

至少一个存储器，包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置成：利用所述至少一个处理器，使所述至少一个处理器：

接收多个浮点数，所述多个浮点数中的每个浮点数包括尾数部分和指数部分；

标识所述多个浮点数中的每个浮点数的所述指数部分的指数值；

将所述浮点数的所述尾数部分分组；

根据所标识的所述指数值，选择分组的尾数部分的共享指数值；

从所述分组的尾数部分中去除所选择的所述共享指数值，以定义多层共享指数块浮点数；

对所述多层共享指数块浮点数的所述分组的尾数部分执行一个或多个点积运算，以获得单独结果；

将所述单独结果移位，以生成最终的点积值；以及

使用所述最终的点积值来实现所述神经网络。

2.根据权利要求1所述的系统，其中所述至少一个存储器和所述计算机程序代码还被配置成：利用所述至少一个处理器，使所述至少一个处理器：通过至少基于所标识的所述指数值来确定最大指数值或最小指数值中的一个，来选择所述共享指数值，以定义针对所述分组的尾数中的每个分组的尾数的全局共享指数和更细粒度的共享指数。

3.根据权利要求1和2中任一项所述的系统，其中所述至少一个存储器和所述计算机程序代码还被配置成：利用所述至少一个处理器，使所述至少一个处理器：通过确定所标识的所述指数值的平均指数值来选择所述共享指数值，以定义针对所述分组的尾数中的每个分组的尾数的全局共享指数和更细粒度的共享指数。

4.根据权利要求1-3中任一项所述的系统，其中所述至少一个存储器和所述计算机程序代码还被配置成：利用所述至少一个处理器，使所述至少一个处理器：使用按矩阵共享、按列共享和分块共享中的至少一项，定义用于选择所述共享指数值的粒度，并且其中所述分组的尾数按照以下中的一项而被分组：在空间上或者根据所标识的所述指数值。

5.根据权利要求1-4中任一项所述的系统，其中所述至少一个存储器和所述计算机程序代码还被配置成：利用所述至少一个处理器，使所述至少一个处理器：仅对矩阵-向量相乘执行一个或多个点积运算。

6.根据权利要求1-5中任一项所述的系统，其中所述多个浮点数包括具有16位浮点格式的数或少于16位浮点格式的数。

7.根据权利要求1-6中任一项所述的系统，还包括一个或多个现场可编程门阵列(FPGA)，并且其中所述一个或多个点积运算和所述移位由所述一个或多个FPGA执行。

8.一种用于神经网络中的块浮点计算的计算机化的方法，所述计算机化的方法包括：

接收多个浮点数，所述多个浮点数中的每个浮点数包括尾数部分和指数部分；

将所述多个浮点数转换为多个多层共享指数块浮点数，所述多个多层共享指数块浮点数具有针对多个分组的尾数中的每个分组的尾数的至少一个全局共享指数和一个附加指数；

使用所述多个多层共享指数块浮点数执行一个或多个点积运算；以及

使用执行所述一个或多个点积运算的结果来实现所述神经网络。

9.根据权利要求8所述的计算机化的方法，其中将所述多个浮点数转换为多个块浮点数包括：标识所述多个浮点数中的每个浮点数的所述指数部分的指数值；在空间上或基于所标识的所述指数值将所述浮点数的所述尾数分组；选择所述分组的尾数的共享指数值，所述共享指数值从所述分组的尾数被分解；以及将执行所述一个或多个点积运算的所述结果移位以生成最终的点积值。

10.根据权利要求8和9中任一项所述的计算机化的方法，还包括：通过至少基于所标识的所述指数值来确定最大指数值或最小指数值中的一个，来选择所述至少一个共享指数值，以定义针对所述分组的尾数中的每个分组的尾数的全局共享指数和更细粒度的共享指数。