[发明专利]量化模型生成方法、装置和电子设备

说明书

公开了一种量化模型生成方法、量化模型生成装置和电子设备。该方法包括：从神经网络的浮点模型获取至少一层的层信息；通过强化学习模块根据所述至少一层的层信息决策所述至少一层的量化程度；以及，根据所述至少一层的量化程度生成量化模型。这样，可以通过强化学习来自主选择神经网络中要量化的层并确定其应该被量化的程度，从而使得量化后的神经网络在精度和参数量之间达到一个最优的平衡态，获得参数量小且精度高的神经网络。

技术领域

本申请涉及数据处理领域，且更具体地，涉及一种量化模型生成方法、量化模型生成装置和电子设备。

背景技术

在神经网络技术中，现有的神经网络都是通过浮点训练，要想在硬件或移动端上应用的话，受限于硬件设备或移动端的存储空间和处理器，通常需要把网络进行压缩。

常用的网络压缩方式包括量化、剪枝、蒸馏等，通过压缩，可以减小网络参数量、提高运算速度、从而适应芯片和手机等小型设备。

当前在神经网络模型压缩技术中，量化是非常重要的手段之一，具体地，其将网络中的浮点参数量化成为低比特的存储单元，从而实现加速运算，减少参数量。

因此，为了进一步提高神经网络的压缩效果，能够提供改进的量化模型生成方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种量化模型生成方法、量化模型生成装置和电子设备，其通过强化学习模型对神经网络进行选择性量化并逐层计算量化程度，以获得参数量小且精度高的神经网络。

根据本申请的一个方面，提供了一种量化模型生成方法，包括：从神经网络的浮点模型获取至少一层的层信息；通过强化学习模块根据所述至少一层的层信息决策所述至少一层的量化程度；以及，根据所述至少一层的量化程度生成量化模型。

在上述量化模型生成方法中，进一步包括：对所述浮点模型除所述至少一层外的其它层指定预定量化程度。

在上述量化模型生成方法中，所述浮点模型包括Resnet18神经网络结果、Resnet50神经网络结构和Densenet神经网络结构之一。

在上述量化模型生成方法中，所述至少一层的层信息包括每层的深度，每层的类型和每层的超参数中的至少一个。

在上述量化模型生成方法中，所述量化程度包括二比特、四比特、八比特、十六比特和不量化之一。

在上述量化模型生成方法中，进一步包括：获取所述量化模型量化后的神经网络的网络参数；以及，基于所述网络参数更新所述强化学习模块。

在上述量化模型生成方法中，基于所述网络参数更新所述强化学习模块包括：基于参数量和网络精度获得综合评价指标；以及，基于所述综合评价指标更新所述强化学习模块。

根据本申请的另一方面，提供了一种量化模型生成装置，包括：信息获取单元，用于从神经网络的浮点模型获取至少一层的层信息；量化决策单元，用于通过强化学习模块根据所述至少一层的层信息决策所述至少一层的量化程度；以及，模型生成单元，用于根据所述至少一层的量化程度生成量化模型。

在上述量化模型生成装置中，所述量化决策单元进一步用于：对所述浮点模型除所述至少一层外的其它层指定预定量化程度。

在上述量化模型生成装置中，所述浮点模型包括Resnet18神经网络结果、Resnet50神经网络结构和Densenet神经网络结构之一。

在上述量化模型生成装置中，所述至少一层的层信息包括每层的深度，每层的类型和每层的超参数中的至少一个。

在上述量化模型生成装置中，所述量化程度包括二比特、四比特、八比特、十六比特和不量化之一。