[发明专利]使用低精度格式的张量处理

权利要求书

1.一种执行矩阵计算的计算机实现的方法，所述方法包括：

访问第一矩阵X；

访问第二矩阵Y，其中所述矩阵X和Y是存储器驻留的，并且包括以低精度浮点格式表示的值，并且其中所述低精度浮点格式表示从低阈值到高阈值的值；

确定矩阵X的第一缩放因子a；

确定矩阵Y的第二缩放因子b，其中执行所述确定避免涉及a*X和b*Y的矩阵计算的上溢和下溢；以及

执行矩阵计算，所述矩阵计算将a*X和b*Y作为输入并且生成输出。

2.如权利要求1所述的方法，其中所述低精度浮点格式精简包括浮点16位浮点格式。

3.如权利要求1所述的方法，其中所述矩阵计算包括矩阵相乘。

4.如权利要求1所述的方法，其中所述矩阵计算包括矩阵卷积。

5.如权利要求1所述的方法，其中所述矩阵计算包括矩阵相加。

6.如权利要求1所述的方法，其中所述矩阵计算包括以下至少一者：矩阵相乘；矩阵卷积；以及矩阵相加，并且其中进一步地，所述矩阵计算是包括梯度计算的学习网络训练过程的一部分。

7.如权利要求1所述的方法，其中所述矩阵计算由图形处理单元的硬件计算单元执行。

8.如权利要求1所述的方法，其中所述确定所述第一缩放因子a包括：

计算所述矩阵X的值的最大绝对值max(X)；

计算所述矩阵X的非零值的平均值mean(X)；以及

将范围值range(X)计算为[max(X)/mean(X)]。

9.如权利要求8所述的方法，其中所述确定所述第二缩放因子b包括：

计算所述矩阵Y的值的最大绝对值max(Y)；

计算所述矩阵Y的非零值的平均值mean(Y)；以及

将范围值range(Y)计算为[max(Y)/mean(Y)]。

10.如权利要求9所述的方法，其中所述矩阵计算包括矩阵相乘，并且其中所述确定所述第一缩放因子a和其中所述确定所述第二缩放因子b还包括：

选择所述a和所述b，其中[a*mean(X)*b*mean(Y)]等于或大于所述低阈值；以及

选择所述a和所述b，其中：

[a*mean(X)*b*max(Y)]等于或小于所述高阈值；

[b*mean(Y)*a*max(X)]等于或小于所述高阈值；

K*[a*mean(X)*b*mean(Y)]等于或小于所述高阈值，其中K是常数；

a*max(X)等于或小于所述高阈值；以及

b*max(Y)等于或小于所述高阈值。

11.如权利要求9所述的方法，其中所述矩阵计算包括矩阵卷积，并且其中所述确定所述第一缩放因子a和其中所述确定所述第二缩放因子b还包括：

选择所述a和所述b，其中[a*mean(X)*b*mean(Y)]等于或大于所述低阈值；以及

选择所述a和所述b，其中：

[a*mean(X)*b*max(Y)]等于或小于所述高阈值；

[a*max(X)*b*max(Y)]等于或小于所述高阈值；

K*[a*mean(X)*b*mean(Y)]等于或小于所述高阈值，其中K是常数；

a*max(X)等于或小于所述高阈值；以及

b*max(Y)等于或小于所述高阈值。

12.一种执行深度学习网络的训练的计算机实现的方法，所述方法包括：

访问第一矩阵X；

访问第二矩阵Y，其中所述矩阵X和Y是存储器驻留的，并且包括以浮点16位浮点格式表示的值，并且其中所述浮点16位格式表示从低阈值到高阈值的值；

确定矩阵X的第一缩放因子a；

确定矩阵Y的第二缩放因子b，其中执行所述确定避免涉及a*X和b*Y的矩阵计算的上溢和下溢；以及

通过执行前向传播层、卷积层、内积层和后向传播层的计算来执行所述训练，其中所述卷积层包括梯度计算，所述梯度计算包括矩阵计算，所述矩阵计算将a*X和b*Y作为输入并且生成梯度输出。

13.如权利要求12所述的方法，其中所述矩阵计算由图形处理单元的硬件计算单元执行。