[发明专利]利用反向传播为深度神经网络选择量化参数的方法和系统

权利要求书

1.一种计算机实现的方法(500)，用于为深度神经网络“DNN”识别一个或多个量化参数以用于用硬件实现所述DNN，所述方法包括在至少一个处理器中：

(a)确定所述DNN的模型响应于训练数据的输出，所述DNN的模型包括量化块，所述量化块被配置为在所述模型根据所述DNN的层处理输入到所述层的值的集合之前变换所述值的集合，对所述值的集合的变换模拟所述值的集合到由一个或多个量化参数定义的定点数格式的量化(502)；

(b)确定所述DNN的成本度量，所述成本度量是误差度量和大小度量的组合，所述误差度量是所确定的输出中的误差的定量测度，并且所述大小度量与基于所述一个或多个量化参数的所述DNN的大小成比例(504)；

(c)将所述成本度量的导数反向传播到所述一个或多个量化参数中的至少一者以生成所述成本度量针对所述一个或多个量化参数中的至少一者的梯度(506)；并且

(d)基于针对所述一个或多个量化参数中的至少一者的梯度来调整所述一个或多个量化参数中的至少一者(508)。

2.如权利要求1所述的方法(500)，其中，基于针对量化参数的梯度调整该量化参数包括：基于针对该量化参数的梯度来向该量化参数添加值以生成经修改的量化参数。

3.如权利要求2所述的方法(500)，其中，基于针对量化参数的梯度调整该量化参数还包括：将经修改的量化参数量化到整数的集合中的最近整数，或者模拟经修改的量化参数到所述整数的集合中的最近整数的量化。

4.如权利要求3所述的方法(500)，其中，将经修改的量化参数量化到所述整数的集合中的最近整数包括：将经修改的量化参数舍入到所述整数的集合中的最近整数。

5.如权利要求3所述的方法(500)，其中，模拟经修改的量化参数到所述整数的集合中的最近整数的量化包括：向经修改的量化参数添加-a到a之间的随机数，其中，a是所述整数的集合中的低于经修改的量化参数的最接近整数和所述整数的集合中的高于经修改的量化参数的最接近整数之间的距离的一半。

6.如权利要求5所述的方法(500)，其中，模拟经修改的量化参数到整数的集合中的最近整数的量化还包括：在向经修改的量化参数添加所述随机数之后将经修改的量化参数舍入到所述整数的集合中的最近整数。

7.如权利要求3所述的方法(500)，其中，模拟经修改的量化参数到整数的集合中的最近整数的量化包括：

选择所述整数的集合中的小于或等于经修改的量化参数的最高整数来生成向下取整的经修改的量化参数；并且

向所述向下取整的经修改的量化参数添加0到c之间的随机值，其中，c是所述整数的集合中的低于经修改的量化参数的最接近整数和所述整数的集合中的高于经修改的量化参数的最接近整数之间的距离。

8.如任何在前权利要求所述的方法(500)，还包括：以至少一个经调整的量化参数和/或直到所述成本度量收敛为止重复(a)、(b)、(c)和(d)。

9.如权利要求8所述的方法(500)，当从属于权利要求2时，其中，在(d)的后续迭代中调整量化参数包括：基于针对该量化参数的梯度向先前迭代的经修改的量化参数添加值。

10.如权利要求9所述的方法(500)，其中，经修改的量化参数为浮点数格式。

11.如权利要求1至7的任何一项所述的方法(500)，其中，每个定点数格式是由包括比特宽度和指数在内的多个量化参数定义的。