[发明专利]原生张量处理器

摘要

原生张量处理器使用外积之和计算张量缩并。在一种实现中，原生张量处理器优选地被实现为单一集成电路，并且包括输入缓冲器和缩并引擎。输入缓冲器缓冲从片外检索的张量元素，并根据需要将元素传输到缩并引擎。缩并引擎通过执行来自等价矩阵乘法的计算来计算张量缩并，就好像张量被展开成矩阵一样，但避免了明确展开张量的开销。缩并引擎包括多个外积单元，多个外积单元通过外积之和计算矩阵乘法。通过使用外积，等价矩阵乘法可以被分割成更小的矩阵乘法，这些更小的矩阵乘法在所需的局部张量间进行。

主权项

1.原生张量处理器，包括：接口，所述接口与设备存储器通信，所述设备存储器存储张量TX和TY的元素；展开缓冲器，其连接到所述接口，用于缓冲经由所述接口的从所述设备存储器检索到的TX和TY的张量元素；以及缩并引擎，其通过执行实现矩阵相乘X(l,n)×Y(n,m)＝Z(l,m)的计算，来计算张量TX和TY的缩并，其中X是张量TX的展开矩阵，Y是张量TY的展开矩阵，Z为矩阵X和矩阵Y的乘积，并且l＝1…L和m＝1…M是自由指数，n＝1…N是缩并指数；所述缩并引擎包括：多个外积单元，其通过外积之和计算矩阵乘法；分配部段，其将所述展开缓冲器连接到外积单元，所述分配部段相对于缩并指数k将X×Y矩阵乘法分割成多个Xk×Yk外积，并将Xk×Yk外积引导到外积单元；以及收集部段，其连接至外积单元，所述收集部段将由所述外积单元计算得的外积求和成矩阵乘法的积；其中原生张量处理器在单一集成电路上实现。