[发明专利]用于定点神经网络的位宽选择

权利要求书

1.一种用于选择定点机器学习模型的位宽的计算机实现的方法，其中所述模型包括神经网络，所述方法包括：

评估所述模型的每个计算级处的模型准确度对于位宽的敏感度，每个计算级是所述神经网络的一层，其中所述评估包括：

向所述模型的至少一个计算级注入噪声水平；

确定具有所注入噪声水平的所述至少一个计算级的模型准确度；以及

基于确定具有所注入噪声水平的所述至少一个计算级的所述模型准确度高于阈值来增大所注入噪声水平；以及

至少部分地基于所述评估来选择所述模型的所述至少一个计算级中的参数、中间计算、或其组合的位宽，其中所述参数包括偏置值和权重中的一者或多者并且所述中间计算包括激活值，并且其中所述位宽的选择是至少部分基于所述位宽是针对所述偏置值、所述权重还是所述激活值的。

2.如权利要求1所述的方法，其特征在于，所述模型准确度包括所述模型的输出处的信号量化噪声比(SQNR)或者分类准确度。

3.如权利要求1所述的方法，其特征在于，所述位宽是至少部分地基于所述网络的连通性的。

4.如权利要求3所述的方法，其特征在于，所述连通性包括全连接配置、卷积配置，或者具有特定稀疏性的配置。

5.如权利要求4所述的方法，其特征在于，全连接层的位宽小于所述神经网络的卷积层的位宽。

6.如权利要求5所述的方法，其特征在于，所述全连接层和所述卷积层的所述权重和/或所述偏置值在转移学习布置中是随机的。

7.如权利要求1所述的方法，其特征在于，所述偏置值、所述权重、和所述激活值中的一者或多者的位宽是至少部分基于所述神经网络中每层的权重数目、每层的激活值数目、每层的滤波器大小、每层的滤波器步幅、和每层的滤波器数目的。

8.如权利要求1所述的方法，其特征在于，进一步包括在选择了每一层的偏移值的位宽、激活值的位宽和权重的位宽中的一者或多者之后微调所述网络。

9.如权利要求1所述的方法，其特征在于，所述至少一个计算级的所述中间计算的位宽小于所述至少一个计算级中的所述参数的位宽。

10.如权利要求1所述的方法，其特征在于，进一步包括至少部分地基于性能规范或系统资源或用户输入来动态地改变所述位宽。

11.如权利要求1所述的方法，其特征在于，输出层使用浮点数格式。

12.一种用于选择定点机器学习模型的位宽的装置，其中所述模型包括神经网络，所述装置包括：

存储器；以及

耦合至所述存储器的至少一个处理器，所述至少一个处理器被配置成：

评估所述模型的每个计算级处的模型准确度对于位宽的敏感度，每个计算级是所述神经网络的一层，其中被配置成评估的所述至少一个处理器包括所述至少一个处理器进一步被配置成：

向所述模型的至少一个计算级注入噪声水平；

确定具有所注入噪声水平的所述至少一个计算级的模型准确度；以及

基于确定具有所注入噪声水平的所述至少一个计算级的所述模型准确度高于阈值来增大所注入噪声水平；以及

至少部分地基于所述评估来选择所述模型的所述至少一个计算级中的参数、中间计算、或其组合的位宽，其中所述参数包括偏置值和权重中的一者或多者并且所述中间计算包括激活值，并且其中所述位宽的选择是至少部分基于所述位宽是针对所述偏置值、所述权重还是所述激活值的。

13.如权利要求12所述的装置，其特征在于，所述模型准确度包括所述模型的输出处的信号量化噪声比(SQNR)或者分类准确度。