[发明专利]低精度机器学习操作的计算优化

权利要求书

1.一种图形处理器，包括：

存储器装置；

压缩器，用于压缩待写入到所述存储器装置的数据；以及

与所述存储器装置耦合的流式多处理器，所述流式多处理器用于并发地执行多个线程组，其中所述流式多处理器包括单指令多线程（SIMT）架构，并且所述流式多处理器将执行用于多个指令的多个线程；

其中所述多个指令包括：第一指令，用于使所述流式多处理器的第一部分对多个浮点输入操作数执行浮点操作；以及第二指令，用于使所述流式多处理器的第二部分对多个整数操作数执行整数操作，所述第一指令与所述第二指令并发执行；以及

其中所述流式多处理器包括混合精度核心，所述混合精度核心用于对所述多个指令中的第三指令执行操作，所述混合精度核心用于以第一精度执行所述第三指令的第一操作，且以第二精度执行所述第三指令的第二操作。

2.根据权利要求1所述的图形处理器，其中，所述第一操作在16位浮点输入上执行，且所述第二操作在32位浮点输入上执行。

3.根据权利要求2所述的图形处理器，其中，所述16位浮点输入包括半精度浮点输入。

4.根据权利要求2所述的图形处理器，其中，所述第一操作是乘法，且所述第二操作是累加。

5.根据权利要求1所述的图形处理器，其中，所述混合精度核心将对所述多个指令中的第四指令执行操作，所述第四指令致使所述混合精度核心对8位整数输入执行第三操作且对32位整数输入执行第四操作。

6.根据权利要求1所述的图形处理器，还包括与所述压缩器耦合的2级（L2）高速缓存。

7.根据权利要求6所述的图形处理器，其中，所述压缩器将无损压缩待写入到所述存储器装置的所述数据。

8.根据权利要求6所述的图形处理器，其中，所述压缩器将解压缩待从所述存储器装置读取的数据。

9.根据权利要求8所述的图形处理器，其中，所述存储器装置是高带宽存储器（HBM）装置。

10.一种方法，包括：

经由图形处理器的指令解码器对第一指令进行解码，所述第一指令被解码为第一解码指令，其中所述图形处理器包括耦合到存储器装置的流式多处理器及压缩待写入到所述存储器装置的数据的压缩器，且所述流式多处理器包括单指令多线程（SIMT）；

经由所述流式多处理器执行与所述第一解码指令相关联的多个线程，其中所述第一解码指令致使所述流式多处理器的第一部分对多个浮点输入操作数执行浮点操作；

经由所述图形处理器的所述指令解码器将第二指令解码成第二解码指令；

经由所述流式多处理器执行与所述第二解码指令相关联的多个线程，其中所述第二解码指令致使所述流式多处理器的第二部分对多个整数操作数执行整数操作，且所述第一解码指令与所述第二解码指令并发执行；

经由所述图形处理器的所述指令解码器将第三指令解码成第三解码指令；以及

经由所述流式多处理器的混合精度核心执行与所述第三解码指令相关联的多个线程，其中所述混合精度核心使用第一数量的位执行所述第三解码指令的第一操作且使用第二数量的位执行所述第三解码指令的第二操作。

11.根据权利要求10所述的方法，其中，所述第三指令是整数指令，所述第一数量的位与整数值的第一可表示范围相关联，且所述第二数量的位与整数值的第二可表示范围相关联。

12.根据权利要求11所述的方法，进一步包括在8位整数输入上执行所述第三解码指令的所述第一操作且在32位整数输入上执行所述第三解码指令的所述第二操作。

13.根据权利要求10所述的方法，其中，所述第三指令是浮点指令，所述第一数量的位与第一浮点精度相关联，且所述第二数量的位与第二浮点精度相关联。