[发明专利]具有用于机器学习加速器的宽乘加器树的浮点点积硬件

说明书

本公开涉及具有用于机器学习加速器的宽乘加器树的浮点点积硬件。系统、设备和方法可以提供用于基于指数位的第一子集在多个浮点数之间进行第一对齐的技术。该技术还可以至少部分地与第一对齐并行地基于指数位的第二子集在多个浮点数之间进行第二对齐，其中，指数位的第一子集是LSB，并且指数位的第二子集是MSB。在一个示例中，技术使对齐的多个浮点数彼此相加。关于第二对齐，该技术还可以识别多个浮点数的各个指数，识别各个指数中的最大指数，并且进行从最大指数中减去各个指数的减法，其中该减法是从MSB到LSB进行的。

技术领域

实施例总体上涉及机器学习。更具体地，实施例涉及具有用于机器学习加速器的宽乘法-加法器树(wide multiply-adder tree)的浮点点积硬件。

背景技术

深度神经网络(DNN)通常用于机器学习(ML)工作负荷中以执行矩阵乘法和卷积运算，这往往是ML工作负荷中最限制功率和性能的运算。虽然已经提出了具有点积计算单元的硬件加速器以提高这些运算的面积(area)和能量效率(例如，使用各种数据流架构和数据类型)，但是仍有很大的改善空间。例如，传统的浮点(FP)点积硬件解决方案可以首先找到浮点积中的最大指数，并且使用最大指数和相应的单个指数使每个乘积尾数(例如有效位数、系数)对齐以进行累加/求和。全局搜索最大指数会引入延迟(例如，从而降低性能)。此外，对齐可能涉及相对大量的硬件(例如对齐移位器阶段)，这增加了延迟、成本和/或功耗。实际上，随着ML应用从标准数字格式(例如，具有5位指数的浮点16位/FP16)过渡到更优化的数字格式(例如，具有8位指数的脑浮点(Brain floating-point)16位/Bfloat16)，功率和性能限制可能增加。

发明内容

根据本公开的实施例，提供了一种计算系统，所述计算系统包括：网络控制器；以及耦合到所述网络控制器的处理器，所述处理器包括耦合到一个或多个衬底的逻辑，所述逻辑用于：基于指数位的第一子集在多个浮点数之间进行第一对齐；至少部分地与所述第一对齐并行地基于指数位的第二子集在所述多个浮点数之间进行第二对齐，其中所述指数位的第一子集是最低有效位(LSB)，并且所述指数位的第二子集是最高有效位(MSB)；并且使对齐的多个浮点数彼此相加。

根据本公开的实施例，提供了一种半导体设备，所述半导体设备包括：一个或多个衬底；以及耦合到所述一个或多个衬底的逻辑，其中所述逻辑至少部分地实现为可配置逻辑或固定功能硬件逻辑中的一个或多个，耦合到所述一个或多个衬底的所述逻辑用于：基于指数位的第一子集在多个浮点数之间进行第一对齐；至少部分地与所述第一对齐并行地基于指数位的第二子集在所述多个浮点数之间进行第二对齐，其中所述指数位的第一子集是最低有效位(LSB)，并且所述指数位的第二子集是最高有效位(MSB)；并且使对齐的多个浮点数彼此相加。

根据本公开的实施例，提供了一种计算系统，所述计算系统包括：网络控制器；以及耦合到所述网络控制器的处理器，所述处理器包括耦合到一个或多个衬底的逻辑，所述逻辑用于：识别多个浮点数的各个指数；识别所述各个指数中的最大指数；并且进行从所述最大指数中减去所述各个指数的减法，其中所述减法是从最高有效位(MSB)到最低有效位(LSB)进行的。

根据本公开的实施例，提供了一种半导体设备，所述半导体设备包括：一个或多个衬底；以及耦合到所述一个或多个衬底的逻辑，其中所述逻辑至少部分地实现为可配置逻辑或固定功能硬件逻辑中的一个或多个，耦合到所述一个或多个衬底的所述逻辑用于：识别多个浮点数的各个指数；识别所述各个指数中的最大指数；并且进行从所述最大指数中减去所述各个指数的减法，其中所述减法是从最高有效位(MSB)到最低有效位(LSB)进行的。

附图说明

本领域技术人员通过阅读以下说明书和所附权利要求并且参考以下附图将明白实施例的各种优点，在附图中：

图1是根据实施例的乘法器-加法器树硬件拓扑的示例的比较框图；