[发明专利]用于确定表示DNN的层的值的定点数格式的方法和系统

权利要求书

1.一种确定用于表示深度神经网络DNN的一个或多个层的值的定点数格式的计算机实现的方法，所述DNN的一个或多个层中的每个层的值包括该层的权重和输入数据值中的至少一者，所述方法包括：

接收被配置为根据用于该层的一个或多个初始定点数格式表示一个或多个层的值的DNN的实例；

确定响应于测试输入数据的所述DNN的所述实例的输出；

确定所述DNN的所述实例的所述输出相对于基线输出的可微分误差；

使用泰勒近似来确定所述可微分误差中与所述一个或多个层中的每个层的值的量化相关的部分；以及

基于所述可微分误差中与所述一个或多个层中的每个层的值的量化相关的所述部分，调整所述一个或多个层中的至少一层的定点数格式。

2.根据权利要求1所述的方法，其中，具有最低权重量化误差部分和/或最低输入数据值量化误差部分的层的定点数格式被调整。

3.根据权利要求2所述的方法，其中，每个定点数格式包括指数和尾数位长度，并且调整定点数格式包括将定点数格式调整为具有下一最低尾数位长度的定点数格式。

4.根据权利要求1所述的方法，其中，具有最高权重量化误差部分和/或最高输入数据值量化误差部分的层的定点数格式被调整。

5.根据权利要求4所述的方法，其中，每个定点数格式包括指数和尾数位长度，并且调整定点数格式包括将定点数格式调整为具有下一最高尾数位长度的定点数格式。

6.根据权利要求1所述的方法，还包括：

在所述调整之后，确定响应于测试输入数据的所述DNN的所述实例的第二输出的准确度；以及

响应于确定所述DNN的所述实例的所述第二输出的所述准确度超过准确度阈值，执行以下操作：

确定所述DNN的所述实例的所述第二输出相对于基线输出的第二可微分误差；

使用泰勒近似来确定所述第二可微分误差中与所述一个或多个层中的每个层的值的量化相关的第二部分；

基于所述第二可微分误差中与所述一个或多个层中的每个层的值的量化相关的所述第二部分，调整所述一个或多个层中的至少一层的定点数格式。

7.根据权利要求6所述的方法，还包括：响应于确定所述DNN的所述实例的所述第二输出的所述准确度不超过所述准确度阈值，将所述调整丢弃。

8.根据权利要求6所述的方法，其中，所述DNN是分类网络，并且所述DNN的所述实例的所述第二输出的所述准确度是前1名的分类准确度或前5名的分类准确度。

9.根据权利要求1所述的方法，其中，使用泰勒近似来确定所述可微分误差中与所述一个或多个层中的每个层的值的量化相关的所述部分包括：

使用反向传播确定所述可微分误差关于值的斜率；以及

通过将特定值的量化误差乘以相应的斜率来计算所述可微分误差中可归因于该值的量化的所述部分。

10.根据权利要求9所述的方法，其中，确定所述可微分误差中与所述一个或多个层中的每个层的值的量化相关的所述部分还包括：通过对所述可微分误差中可归因于该层的权重的量化的部分求和来确定可归因于所述一个或多个层中的每个层的权重的量化的总误差，和/或通过对所述可微分误差中可归因于该层的输入数据值的量化的部分求和来确定可归因于所述一个或多个层中的每个层的输入数据值的量化的总误差。

11.根据权利要求1所述的方法，其中，所述DNN是分类网络，并且所述可微分误差是响应于测试输入数据的所述DNN的所述实例的所述输出的分对数与所述基线输出的分对数之间的绝对差的总和。

12.根据权利要求1所述的方法，其中，所述DNN是分类网络，并且所述可微分误差是响应于测试输入数据的所述DNN的所述实例的所述输出的柔性最大归一化分对数与所述基线输出的柔性最大归一化分对数之间的绝对差的总和。