[发明专利]一种基于深度学习模型的推理方法

权利要求书

1.一种基于深度学习模型的推理方法，所述深度学习模型包括多个依次连接的模型层，各模型层具有其权重矩阵，所述权重矩阵中的每个权重矩阵单元被量化为具有第一比特位数的整数值并以第二比特位数来存储，所述第二比特位数大于第一比特位数，所述方法包括步骤：

接收要由所述深度学习模型进行推理计算的输入矩阵，以便将所述输入矩阵中的每个输入矩阵单元量化为具有第一比特位数的整数值；

利用各模型层执行推理，其中由所述多个依次连接的模型层中的第一层接收所述量化后的输入矩阵，利用其权重矩阵对所述输入矩阵进行矩阵运算以产生输出矩阵，将所述输出矩阵中的每个矩阵单元重新量化为具有第一比特位数的整数值，并将所述输出矩阵发送给下一层模型进行进一步运算；以及

基于所述多个依次连接的模型层中的最后一层产生的输出矩阵来获取推理结果；

其中所述矩阵运算包括在所述输入矩阵的输入矩阵单元和所述权重矩阵的权重矩阵单元的乘累加操作，且所述输出矩阵的矩阵单元以第三比特位数来存储所述乘累加操作的结果，所述第三比特位数为第二比特位数的两倍，而且所述第一比特位数被设置为当每个模型层以第二比特位数来进行权重矩阵和输入矩阵的相应矩阵单元的乘累加操作时，所述乘累加结果小于所述第三比特位数对应的最大值。

2.如权利要求1所述的推理方法，所述执行乘累加操作的方法包括步骤：

在第一寄存器中加载预定数量个输入矩阵单元值，所述第一寄存器具有第四比特位长度，所述第四比特位长度为所述第三比特位长度的整数倍，所述预定数量为第四比特位和第二比特位的比值；

在第二寄存器中加载所述预定数量个权重矩阵单元值，所述第二寄存器具有和第一寄存器相同的长度；以及

执行乘累加操作，以便将第一寄存器中的输入矩阵单元值和在第二寄存器相应位置处的权重矩阵单元值相乘以获得第三比特位数的乘法结果，并将所述乘法结果和第三寄存器中相应位置处、长度为第三比特位数的值相加，并将所述第三寄存器的所述相应位置处的值更新为所述相加结果。

3.如权利要求2所述的推理方法，其中所述第三寄存器的长度为所述第一寄存器长度的两倍。

4.如权利要求2所述的推理方法，其中所述第三寄存器的长度与所述第一寄存器相同，以及将与第一寄存器低位区域的单元值相对应的乘累加结果存储到第三寄存器中，且所述执行乘累加操作的步骤包括：

将第一寄存器高位区域中的输入矩阵单元值和在第二寄存器相应位置处的权重矩阵单元值相乘以获得第三比特位数的乘法结果，并将所述乘法结果和第四寄存器中相应位置处、长度为第三比特位数的值相加，并将所述第四寄存器的所述相应位置处的值更新为所述相加结果，其中所述第四寄存器的长度与所述第一寄存器相同。

5.如权利要求1-4中任一个所述的推理方法，其中各模型层还包括一种或者多种算术运算，各模型层中包括为各算术运算建立的映射表，算术映射表建立了在量化后的操作数和量化后的运算结果之间的映射关系，其中所述操作数具有第一比特位或者第二比特位，所述运算结果具有第二比特位；以及

所述利用各模型层执行推理的步骤包括：

在执行算术运算时，查询与该算术运算相对应的映射表，以获得与所述操作数相对应的运算结果。

6.如权利要求5所述的推理方法，其中所述算术运算的操作数包括所述乘累加操作的结果。

7.如权利要求5或者6所述的推理方法，其中所述算法运算包括激活函数运算。

8.如权利要求1-7中任一个所述的推理方法，其中所述各模型层还包括与各层的权重矩阵中的权重矩阵单元相对应的偏置值，各模型层包括对所述偏置值进行量化而获得的、第三比特位数的常量值；以及

所述利用各模型层执行推理的步骤包括：在对各模型层的输出矩阵进行重新量化之前，将各输出矩阵的输出矩阵单元和对应的常量值求和，然后对求和结果进行重新量化。

9.如权利要求1-8中任一个所述的推理方法，其中所述第一比特位数比第二比特位数少一位、两位或者三位。