[发明专利]深度神经网络硬件实现的基于直方图的每层数据格式选择

权利要求书

1.一种标识用于表示输入至和/或输出自深度神经网络“DNN”的一个层的一组值的定点数格式以用于配置DNN的硬件实现的计算机实现的方法(400)，所述方法(400)包括：

获得表示该层的该组值的预期分布的直方图，其中，所述直方图的每个bin与频率值相关联(402)；

针对多个定点数格式中的每个定点数格式(404，410)：

根据所述定点数格式来量化针对每个bin的浮点数格式的代表值(406)；并且

基于针对每个bin的频率值和距离值来估计与所述定点数格式相关联的总量化误差(408)，所述距离值基于针对该bin的代表值的量化；以及

选择多个定点数格式中与最小估计总量化误差相关联的定点数格式作为用于表示该层的该组值的定点数格式(412)。

2.根据权利要求1所述的方法(400)，其中，所述多个定点数格式中的每个定点数格式包括指数和尾数位长度。

3.根据权利要求2所述的方法(400)，其中，所述多个定点数格式中的每个定点数格式包括相同的尾数位长度和不同的指数。

4.根据权利要求2所述的方法(400)，其中，所述多个定点数格式中的每个定点数格式包括不同的尾数位长度和相同的指数。

5.根据权利要求1所述的方法(400)，其中，估计与定点数格式相关联的总量化误差包括确定针对每个bin的频率值和距离值的乘积的总和。

6.根据权利要求1所述的方法(400)，其中，针对每个bin的距离值是浮点数格式的针对该bin的代表值与根据所述定点数格式量化的针对该bin的代表值之间的差。

7.根据权利要求1所述的方法(400)，其中，针对每个bin的距离值是浮点数格式的针对该bin的代表值与根据所述定点数格式量化的针对该bin的代表值之间的平方差。

8.根据权利要求1所述的方法(400)，其中，针对每个bin的距离值是浮点数格式的针对该bin的代表值与根据所述定点数格式量化的针对该bin的代表值之间的平方差与该bin的代表值的权重的乘积，其中，所述定点数格式的可表示范围之外的代表值的权重高于所述定点数格式的可表示范围内的代表值的权重。

9.根据权利要求8所述的方法(400)，其中，当代表值落入所述定点数格式中的最大可表示数与所述定点数格式中的最小可表示数之间时，所述代表值处于所述定点数格式的可表示范围内。

10.根据权利要求8所述的方法(400)，其中，所述权重在所述定点数格式的可表示范围之外线性地增加。

11.根据权利要求1至10中任一项所述的方法(400)，还包括存储选择的定点数格式以用于配置所述DNN的硬件实现。

12.根据权利要求1至10中任一项所述的方法(400)，还包括配置所述DNN的硬件实现以使用选择的定点数格式来表示该组值。

13.根据权利要求1至10中任一项所述的方法(400)，其中，针对bin的代表值是所述bin的中心值。

14.一种在其上编码有计算机可读指令的计算机可读存储介质，该计算机可读指令在计算机系统上执行时，使得所述计算机系统执行权利要求1至10中任一项所述的方法。