[发明专利]用于深度神经网络的混合精度量化策略确定方法和系统

说明书

本发明涉及深度神经网络的量化推理，具体提供一种用于深度神经网络的混合精度量化策略确定方法和系统，旨在解决现有方法不能针对特定神经网络模型准确地自动筛选出最佳混合精度量化策略的问题。为此目的，本发明的方法包括：设定深度神经网络的推理精度阈值和推理时间阈值；确定硬件能够支持的多个不同的量化精度；用每一种量化精度迭代所有层并记录每次迭代的实际推理精度和实际推理时间，针对每一层筛选出实际推理精度大于推理精度阈值且实际推理时间小于推理时间阈值的所有量化精度；将筛选出的量化精度的组合中的一个确定为最终的混合精度量化策略。使用本发明的方法可以简单快速地完成最佳量化策略的搜索，极大地减少人力和降低时间成本。

技术领域

本发明涉及深度神经网络的量化推理，具体提供一种用于深度神经网络的混合精度量化策略确定方法和系统。

背景技术

人工神经网络(Artificial Neural Network，ANN)是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，并具有自学习和自适应的能力。深度神经网络(Deep Neural Network，DNN)是指内部包含多个层的神经网络，其是机器学习(ML,Machine Learning)领域中的一种重要技术。

与深度神经网络相关的操作包括训练、推理和量化。训练是指向深度神经网络中输入足够多的样本，通过一定算法来调整网络结构(主要是调节权值)，使深度神经网络的输出与预期值相符。推理是指将一个预先训练好的深度神经网络模型部署到实际业务场景中，如图像分类、物体检测、在线翻译等。由于推理直接面向用户，因此，推理性能至关重要，尤其对于企业级产品而言更是如此。为此，通过压缩模型尺寸来提高运算速度就变成一种实际的需求，而量化就是一种典型的模型压缩方法，其是通过将浮点参数转化为定点参数来降低运算精度并因此压缩模型和提升运算速度。

在现有的深度神经网络的训练和推理过程中，普遍使用较高精度(如32bit双精度，16bit单精度)进行推理。但是，在实际场景应用中，往往对神经网络的推理速度有较高的要求。由于终端设备的算力限制，为了实现低功耗低延迟，常常使用更低的精度(8bit或更小)进行推理。然而，在神经网络的推理过程中使用较低精度进行推理会导致较高的精度损失，从而导致较大的结果误差，导致神经网络的精度下降。

为了解决上述问题，现有技术中已经出现了通过混合精度来量化神经网络的方法，即，筛选出神经网络中个别导致精度下降的层，单独提高这些层的推理精度，而对其他层依然使用低精度的算法进行推理。然而，在实际的神经网络中，由于同一层内或不同层之间的计算的相互影响和关联，很难通过经验确定最佳的混合精度最优策略，即，很难精准地筛选出精度下降的层和对精度下降的层选择合适的量化精度。

为此，中国专利申请CN112183742A公开了一种基于渐进式量化和Hessian信息的神经网络混合量化方法，该方法的步骤包括：给定图像标签对集合，划分样本集和校准集；定义神经网络每层可选的量化精度范围；随机选择量化层做降bit量化，重复采样n次，得到n个基础的混合精度模型；以校准集中的图像标签对作为输入，对所有候选的混合精度神经网络模型进行一次前向过程；利用Adam二阶Momentum信息计算Hessian近似值；再计算性能评价指标，将n个指标排序，选择最小值对应混合精度策略作为当前步次下性能最好的混合精度组合，计算模型的计算成本，再对当前的混合精度网络模型做训练；迭代至满足结束条件。上述方法虽然摆脱了对人工经验的依赖，但是，其在对每个网络层进行量化时采用了随机采样的方式，并且用随机采样的量化结果直接被用于构建混合精度模型，使得后续通过性能评价指标选定的精度组合未必能准确对应于整个网络模型的最佳精度和运算速度。

因此，本领域仍然需要一种新的方法来解决混合精度量化策略的自动筛选和确定问题。

发明内容