[发明专利]用来执行用于机器学习的浮点和整数操作的指令和逻辑

权利要求书

1.一种装置，包括：

互连结构；

存储器接口，其耦合到所述互连结构；

输入/输出I/O单元，其耦合到所述互连结构；

多处理器阵列，其耦合到所述互连结构，所述多处理器阵列中的一个多处理器用于跨多个线程并行地执行混合精度指令，

所述多处理器阵列中的多处理器包括：

多个寄存器，其用于存储压缩浮点操作数值；以及

执行逻辑单元，其用于执行所述混合精度指令中的一个或多个，以执行融合乘-累加操作，所述执行逻辑单元包括：

16位乘法器，其用于将第一16位浮点源值与第二16位浮点源值相乘，以生成中间结果；以及

32位累加器，其用于将所述中间结果与累加的浮点值相加，以生成新的累加结果。

2.根据权利要求1所述的装置，还包括：并行处理器管芯，其包括所述互连结构、所述存储器接口、所述输入/输出I/O单元、以及所述多处理器阵列，

所述并行处理器管芯还包括：本地存储器互连，其用于将所述存储器接口耦合到堆叠式存储器管芯，所述本地存储器互连包括独立的多组存储器接口，所述独立的多组存储器接口与所述堆叠式存储器管芯中的相应的存储器管芯相关联。

3.根据权利要求1或2所述的装置，其中，所述混合精度指令是机器学习框架的原语。

4.根据权利要求3所述的装置，其中，所述第一16位浮点源值和所述第二16位浮点源值包括与所述机器学习框架的卷积层相关联的矩阵的数据元素。

5.根据权利要求4所述的装置，其中，与所述机器学习框架的卷积层相关联的矩阵包括第一矩阵和第二矩阵，并且其中，多个乘法中的每一个包括来自所述第一矩阵的压缩数据元素与来自所述第二矩阵的压缩数据元素的乘法。

6.根据权利要求3所述的装置，其中，所述机器学习框架包括神经网络。

7.根据权利要求3所述的装置，其中，所述机器学习框架包括递归神经网络RNN。

8.根据权利要求1至7中的任意一项所述的装置，还包括：

虚拟化逻辑单元，其用于将所述多处理器阵列与多个虚拟机共享。

9.根据权利要求8所述的装置，其中，所述虚拟化逻辑单元包括与多个相对应的虚拟机相关联的多组控制寄存器，一组控制寄存器用于存储一个或多个地址指针，以标识与相对应的虚拟机相关联的存储器区域。

10.根据权利要求2至9中的任意一项所述的装置，其中，所述存储器接口用于将所述互连结构耦合到存储器设备，所述存储器接口使用虚拟信道来分离访问所述存储器设备的业务流。

11.根据权利要求1至10中的任意一项所述的装置，还包括：

高速缓存层级结构，其用于存储所述多处理器阵列的数据，所述高速缓存层级结构包括L1高速缓存和在所述多处理器阵列之间共享的L2高速缓存。

12.根据权利要求2或者在从属于权利要求2的情况下的权利要求3-11中的任意一项所述的装置，还包括：存储器管理单元MMU，其耦合到所述互连结构，所述MMU包括转换后备缓冲器TLB，其用于存储虚拟到物理地址转换以访问所述堆叠式存储器管芯。

13.根据权利要求12所述的装置，其中，所述MMU用于使用共享虚拟存储器地址空间来访问所述堆叠式存储器管芯和一个或多个系统存储器设备。

14.根据权利要求2或者在从属于权利要求2的情况下的权利要求3-13中的任意一项所述的装置，其中，所述堆叠式存储器管芯包括高带宽存储器HBM设备。