[发明专利]数据处理方法、装置、设备以及存储介质

说明书

本公开提供了数据处理方法、装置、设备以及存储介质，涉及人工智能领域，尤其涉及深度学习、模型量化技术领域。具体实现方案为：获取待量化网络模型的目标类神经网络层的待量化信息；确定待量化信息的数值分布；在基于待量化信息的数值分布确定待量化信息适合量化、且待量化信息在模拟量化后导致精度损失大于损失阈值的情况下，确定对待量化网络模型的量化过程中目标类神经网络层的待量化信息不执行量化操作。本公开实施例不仅降低模型量化的工作量，提高模型量化的效率，降低对硬件的需求。同时，将不适合被量化的目标类神经网络层跳过量化过程，保留了该类神经网络层的精度，也可提高量化后模型的精度。

技术领域

本公开涉及人工智能领域，尤其涉及深度学习、模型量化技术领域。

背景技术

模型量化技术将神经网络模型的权重和激活值从高精度转化成低精度，可以有效的将模型轻量化。但是使用模型量化可能使得模型的精度下降。尽管学术界提出了大量的量化算法来提高模型精度，但这些算法并不能在所有任务、所有模型上达到相似的效果，实际使用中可能需要大量尝试不同的量化算法，调参方式等才能达到目标量化精度。

发明内容

本公开提供了一种用于数据处理的方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种数据处理方法，包括：

获取待量化网络模型的目标类神经网络层的待量化信息；

确定待量化信息的数值分布；

在基于待量化信息的数值分布确定待量化信息适合量化、且待量化信息在模拟量化后导致精度损失大于损失阈值的情况下，确定对待量化网络模型的量化过程中目标类神经网络层的待量化信息不执行量化操作。

根据本公开的另一方面，提供了一种数据处理装置，包括：

获取模块，用于获取待量化网络模型的目标类神经网络层的待量化信息；

数值分布确定模块，用于确定待量化信息的数值分布；

量化确定模块，用于在基于待量化信息的数值分布确定待量化信息适合量化、且待量化信息在模拟量化后导致精度损失大于损失阈值的情况下，确定对待量化网络模型的量化过程中目标类神经网络层的待量化信息不执行量化操作。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中数据处理方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中数据处理方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中数据处理方法。

本公开实施例不仅降低模型量化的工作量，提高模型量化的效率，降低对硬件的需求。同时，将不适合被量化的目标类神经网络层跳过量化过程，保留了该类神经网络层的精度，也可提高量化后模型的精度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开一实施例提供的数据处理方法的流程示意图；