[发明专利]机器学习稀疏计算机制

权利要求书

1.一种包括指令的非暂态机器可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行与机器学习框架关联的操作，所述机器学习框架用于促进矩阵乘法，所述操作包括：

将矩阵的元素加载到所述一个或多个处理器的图形处理器的第一存储器中，其中所述第一存储器是所述图形处理器的全局存储器；

将所述矩阵的元素的子集从所述第一存储器转移到所述图形处理器的第二存储器中，所述第二存储器对于所述图形处理器的处理资源的集合是本地的；以及

触发所述图形处理器上的计算内核的执行，其中所述计算内核对所述矩阵的元素的所述子集执行矩阵乘法操作，所述矩阵乘法操作与卷积操作关联，并且所述机器学习框架使得所述计算内核能够指定一个或多个附加逐元素操作以在所述矩阵乘法的输出被转移到所述第一存储器之前对所述输出执行，所述一个或多个附加操作包括将激活函数应用于所述输出。

2.如权利要求1中所述的非暂态机器可读介质，其中在所述矩阵乘法被完成之后并且在所述输出被存储在所述第二存储器中时执行所述一个或多个附加逐元素操作。

3.如权利要求2中所述的非暂态机器可读介质，其中所述激活函数是修正线性单元函数。

4.如权利要求2中所述的非暂态机器可读介质，其中所述一个或多个附加操作另外包括在执行所述激活函数之前执行偏置操作。

5.如权利要求1中所述的非暂态机器可读介质，其中所述计算内核将经由一个或多个图元对所述矩阵的元素的所述子集执行所述矩阵乘法操作，所述一个或多个图元经由所述机器学习框架提供。

6.如权利要求5中所述的非暂态机器可读介质，其中所述机器学习框架将提供图元以使得所述计算内核能够指定要对所述矩阵乘法操作的所述输出执行的一个或多个附加操作。

7.如权利要求5中所述的非暂态机器可读介质，其中所述机器学习框架将提供图元以执行8位整数点积。

8.一种数据处理系统，包括

存储器装置；以及

一个或多个处理器，所述一个或多个处理器配置成执行存储在所述存储器装置中的指令，其中所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行与机器学习框架关联的操作，所述机器学习框架用于促进矩阵乘法，其中所述一个或多个处理器包括图像处理器，并且所述指令使所述一个或多个处理器：

将矩阵的元素加载到所述图形处理器的第一存储器中，其中所述第一存储器是所述图形处理器的全局存储器；

将所述矩阵的元素的子集从所述第一存储器转移到所述图形处理器的第二存储器中，所述第二存储器对于所述图形处理器的处理资源的集合是本地的；以及

触发所述图形处理器上的计算内核的执行，其中所述计算内核将使所述图像处理器对所述矩阵的元素的所述子集执行矩阵乘法操作，所述矩阵乘法操作与卷积操作关联，并且所述机器学习框架使得所述计算内核能够指定一个或多个附加逐元素操作以在所述矩阵乘法的输出被转移到所述第一存储器之前对所述输出执行，所述一个或多个附加操作包括将激活函数应用于所述输出。

9.如权利要求8中所述的数据处理系统，将在所述矩阵乘法被完成之后并且在所述输出被存储在所述第二存储器中时执行所述一个或多个附加逐元素操作。

10.如权利要求9中所述的数据处理系统，其中所述激活函数是修正线性单元函数。

11.如权利要求9中所述的数据处理系统，其中所述一个或多个附加操作另外将在执行所述激活函数之前执行偏置操作。

12.如权利要求8中所述的数据处理系统，其中所述计算内核将经由一个或多个图元对所述矩阵的元素的所述子集执行所述矩阵乘法操作，所述一个或多个图元经由所述机器学习框架提供。