[发明专利]一种面向专用处理器的神经网络模型量化分析方法及系统

权利要求书

1.一种面向专用处理器的神经网络模型量化分析方法，其特征在于，包括：

读取量化前模型以及对应的量化后模型，所述量化前模型包括量化前的神经网络模型，所述量化后模型包括量化后的神经网络模型；

对所述量化后模型进行误差主导归因分析，以得到所述量化后模型的主导误差；

将所述量化前模型和对应的量化后模型进行比对分析；

根据所述主导误差和/或所述比对分析的结果对所述量化后模型进行校正。

2.根据权利要求1所述面向专用处理器的神经网络模型量化分析方法，其特征在于，所述主导误差包括舍入误差或钳位误差。

3.根据权利要求1所述面向专用处理器的神经网络模型量化分析方法，其特征在于，所述比对分析包括：

分别获取所述量化前模型和所述量化后模型中各层的权重和/或激活值；

分别对所述权重和/或所述激活值进行比对，以得到所述量化前模型和所述量化后模型中各层的权重差异和激活值差异；

根据所述权重差异和/或所述激活值差异分析所述量化后模型中各层权重量化是否合理。

4.根据权利要求3所述面向专用处理器的神经网络模型量化分析方法，其特征在于，所述比对分析包括：

分别根据所述量化前模型和所述量化后模型中各层的权重和激活值绘制各层中各通道的箱型图；

对所述箱型图进行比对，以得到所述量化前模型和所述量化后模型中各层中各通道的数值差异；

根据所述数值差异分析所述量化后模型中各层各通道的数值范围是否存在严重偏差。

5.根据权利要求3所述面向专用处理器的神经网络模型量化分析方法，其特征在于，所述比对分析包括：

逐层统计所述量化前模型和所述量化后模型运行激活函数前的激活值；

对运行激活函数前的激活值进行比对，以得到所述量化前模型和所述量化后模型中各层运行激活函数前的激活值差异；

根据所述运行激活函数前的激活值差异分析所述量化后模型是否存在偏差。

6.根据权利要求3所述面向专用处理器的神经网络模型量化分析方法，其特征在于，所述比对分析包括：

逐层对所述量化前模型和所述量化后模型进行敏感性分析，以得到各层量化误差对输出误差的影响程度。

7.根据权利要求1所述面向专用处理器的神经网络模型量化分析方法，其特征在于，所述量化后模型的校正具体包括：

对所述量化后模型中特定层进行量化或不进行量化，修改所述量化后模型中特定层的量化参数，和/或对所述量化后模型中特定层的权重进行修改。

8.一种面向专用处理器的神经网络模型量化分析系统，其特征在于，包括：

读取单元：用于读取量化前模型、以及对应的量化后模型；

误差主导归因分析单元：用于对所述量化后模型进行误差主导归因分析，以得到所述量化后模型的主导误差；

比对分析单元：用于将所述量化前模型和对应的量化后模型进行比对分析；

校正单元：用于根据所述主导误差和/或所述比对分析的结果对所述量化后模型进行校正。