[发明专利]一种面向专用处理器的神经网络模型量化分析方法及系统

说明书

本发明提供的一种面向专用处理器的神经网络模型量化分析方法及系统，方法包括：读取量化前模型以及对应的量化后模型，量化前模型包括量化前的神经网络模型，量化后模型包括量化后的神经网络模型；对量化后模型进行误差主导归因分析，以得到量化后模型的主导误差；将量化前模型和对应的量化后模型进行比对分析；根据主导误差和/或比对分析的结果对量化后模型进行校正。该方法可以根据不同的神经网络模型调用不同的分析方法。进一步引导量化优化，可以轻松继承框架中的分析基类，易于扩展，且具有可复现性。适用于npu处理器，克服现有方法存在的方法零散、分析结果的不易复现、部署到npu后性能退化的问题。

技术领域

本发明属于机器学习技术领域，具体涉及一种面向专用处理器的神经网络模型量化分析方法及系统。

背景技术

这些年来，深度学习在众多领域亮眼的表现使其成为了如今机器学习的主流方向，但其巨大的计算量仍为人诟病。对于端上产品而言，深度神经网络巨大计算量是非常大的挑战。为了弥补端侧智能应用的算力需求与端侧的算力能力的鸿沟，近几年来模型压缩成为了业界的热点之一，其中，神经网络量化是实现这些需求最有效的方法之一。

神经网络量化分为训练后量化(PTQ)和量化感知训练(QAT)。其中PTQ算法可以无需原始的训练过程，就能将预训练的FP32网络直接转换为定点网络。这个方法通常不需要数据(data-free)或者只需要很少的容易获得的校准数据集，使得模型量化更加易于进行。但是PTQ量化引起的额外噪声会导致精度的下降。不同网络结构的模型对于这种现象存在较大差异。于是出现了一些针对PTQ量化后模型误差进行分析的方法，可以对不同网络结构模型的造成误差的原因进行更深入了解，从而可以一定程度上，指引量化优化的方法，提升模型性能。

但是目前量化后模型误差分析方法较为零散，也需要针对分析模型编写代码，并不易于使用。同时，这些较为零散的方法，在多次实现时，可能由于细微的实现差异，往往导致分析结果的不易复现。另外目前有一些端侧智能处理器使用npu，npu功耗更低、使用场景更灵活、效率更高。npu大多仅能运行量化后模型(int)，对量化要求相对更高，但是目前的很多方法不能很好适用于npu这种处理器，导致方法在部署到npu后性能退化。

发明内容

针对现有技术中的缺陷，本发明提供一种面向专用处理器的神经网络模型量化分析方法及系统，克服现有技术存在的方法零散、分析结果的不易复现、部署到npu后性能退化等问题。

第一方面，一种面向专用处理器的神经网络模型量化分析方法，包括：

读取量化前模型以及对应的量化后模型，量化前模型包括量化前的神经网络模型，量化后模型包括量化后的神经网络模型；

对量化后模型进行误差主导归因分析，以得到量化后模型的主导误差；

将量化前模型和对应的量化后模型进行比对分析；

根据主导误差和/或比对分析的结果对量化后模型进行校正。

进一步地，主导误差包括舍入误差或钳位误差(截断误差)。

进一步地，比对分析包括：

分别获取量化前模型和量化后模型中各层的权重和/或激活值；

分别对权重和/或激活值进行比对，以得到量化前模型和量化后模型中各层的权重差异和激活值差异；

根据权重差异和/或激活值差异分析量化后模型中各层权重量化是否合理。

进一步地，比对分析包括：

分别根据量化前模型和量化后模型中各层的权重和激活值绘制各层中各通道的箱型图；

对箱型图进行比对，以得到量化前模型和量化后模型中各层中各通道的数值差异；