[发明专利]一种动态混合精度模型构建方法及系统

说明书

本发明公开了一种动态混合精度模型构建方法及系统，涉及深度神经网络技术。针对现有技术中可转换的状态数量及精度问题提出本方案，特点在于根据全精度模型中不同块的参数的海森矩阵的平均迹以及可选参数精度表S构建混合精度状态转换表；并在训练过程中采用每次训练迭代随机采样数个混合精度子模型，用改进的量化函数进行量化操作，得到混合精度模型；根据实际部署需求组成混合比特部署状态表进行实际部署。优点在于，利用海森矩阵平均迹和随机采样，减少了训练所需的搜索空间与计算量，同时改进的量化函数可以在不同量化比特间直接迁移且量化误差小，使得混合精度模型可以自适应地部署在较低比特的情景，同时在较高比特情景的精度亦有改善。

技术领域

本发明涉及深度神经网络技术，尤其涉及一种动态混合精度模型构建方法及系统。

背景技术

近年来，越来越多智能设备部署了深度神经模型，如手机和VR眼镜等。深度神经模型通常需要大量的内存占用和昂贵的计算操作，而智能设备的内存和计算资源是有限的。考虑到更复杂的实际应用场景，即使是同一台设备，对深度神经模型的要求也会因电池状况、硬件老化等因素变化而变化。这给智能设备的部署工作带来了更大的难度，不利于神经网络算法的轻量级应用。

为解决深度神经网络过高的内存占用和计算需求，研究人员提出了对神经网络模型进行量化压缩的方法。经过量化后的神经网络模型拥有更少的内存占用和计算量，可以显著减少存储和计算资源的开支，更好地部署在资源受限的轻量级设备上。

针对智能设备实际应用场景实时变化的问题，研究人员提出可以人工设计或者使用神经网络搜索方法为不同的应用需求单独设计和训练一个或多个神经网络模型。但这两种方法需要消耗过高的设计和训练成本，不利于实际推广使用。一个更高效的解决方案就是使用自适应模型，自适应模型指仅设计和训练一个模型，该模型具备多种转换状态，每个状态对应一个子模型。自适应模型可以根据实际使用场景变化自适应改变自身结构参数，转换成不同的子模型。

自适应量化模型结合了自适应模型和量化方法，可以自适应改变模型的参数和计算精度。然而，当前的自适应量化模型存在两个弊端，一方面，无法应用于参数和计算精度较低的情况；另一方面，可使用的转换状态有限，每个转换状态都是一个单一比特的子模型。

为了应对自适应模型各个子模型的统计参数不匹配的问题，自适应剪枝模型使用Switch BN(Batch Normalization)层替换传统的BN层，Switch BN层包含数个维度一致但参数不同的BN层，每个BN层对应一种通道数。自适应量化模型同样采用了Switch BN层，其中每个BN层对应一种比特精度。对量化模型的激活层进行可学习的参数化裁剪(ClippingLevel)可以有效提升性能，自适应量化模型也将Clipping Level改进为Switch ClippingLevel层。其中，每个ReLU激活层增加了数个不同的可学习参数，每个参数对应一种比特精度。

近年来，研究人员发现深度神经模型的参数的海森矩阵可用于分析神经网络模型不同层或块对噪声扰动的敏感度，进一步地提出使用海森矩阵信息训练混合精度模型。混合精度模型不同单一精度的量化模型，其不同的层或块具有不同的参数精度。研究表明，混合精度模型较单一精度量化模型具有更优的性能和精度表现。

然而，当前的自适应量化模型存在难以在较低比特场景应用的难题，同时可转换的状态有限，这两个弊端极大限制了自适应量化模型的推广使用。如何利用具体的海森矩阵信息有效增加自适应量化模型的转换状态以及提升精度成了亟需解决的问题。

发明内容

本发明目的在于提供一种动态混合精度模型构建方法及系统，以解决上述现有技术存在的问题。

本发明所述动态混合精度模型构建方法，包括以下步骤：

S1、对原始数据进行预处理；

S2、训练一个全精度模型；

S3、给定可选参数精度表S；