[发明专利]神经网络模型的量化方法和装置

说明书

本公开涉及人工智能领域。本公开的实施例公开了神经网络模型的量化方法和装置。该方法包括：获取神经网络模型的参数的初始位宽以及目标量化位宽；构建量化位宽序列，通过执行多次拟量化操作更新量化位宽序列；按照更新后的量化位宽序列对神经网络模型进行逐级量化；拟量化操作包括：获取起点位宽对应的第一量化后模型、采用中间位宽对待量化模型进行量化得到的第二量化后模型；响应于确定第一量化后模型的参数分布与第二量化后模型的参数分布之间的差异在预设的分布差异区间内，将中间位宽插入量化位宽序列中，将中间位宽更新为新的起点位宽，将第二量化后模型更新为新的待量化模型，执行下一次拟量化操作。该方法可以减少模型的量化损失。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及人工智能技术领域，尤其涉及神经网络模型的量化方法和装置。

背景技术

神经网络的模型的量化是将高位宽的模型参数转换为低位宽的模型参数，以此提升模型的计算速度。通常在高位宽的神经网络模型训练完成之后进行量化。深度神经元网络中，模型各层之间有非常强的依赖关系，各层的参数分布的改变对神经网络模型的性能具有很大的影响。如果量化后的低位宽模型的参数分布与高位宽的模型的参数分布的差异过大，量化后的神经网络模型的精度损失会很严重，甚至产生精度过低而无法满足业务需求的情况。

发明内容

本公开的实施例提出了神经网络模型的量化方法和装置、电子设备和计算机可读介质。

第一方面，本公开的实施例提供了一种神经网络模型的量化方法，包括：获取神经网络模型的参数的初始位宽以及神经网络模型的目标量化位宽；将初始位宽和作为初始的起点位宽、神经网络模型作为初始的待量化模型，构建包含初始位宽和目标量化位宽的量化位宽序列，通过执行多次拟量化操作更新量化位宽序列；按照更新后的量化位宽序列对神经网络模型进行逐级量化；其中，拟量化操作包括：获取起点位宽对应的第一量化后模型、以及采用中间位宽对待量化模型进行量化得到的第二量化后模型，其中，中间位宽位于起始点位宽和目标量化位宽之间；响应于确定第一量化后模型的参数分布与第二量化后模型的参数分布之间的差异在预设的分布差异区间内，将中间位宽插入量化位宽序列中，并将中间位宽更新为新的起点位宽，以及将第二量化后模型更新为新的待量化模型，执行下一次拟量化操作。

在一些实施例中，上述拟量化操作还包括：响应于确定第一量化后模型的参数分布与第二量化后模型的参数分布之间的差异不在预设的分布差异区间内，将位于起点位宽与中间位宽之间的候选位宽更新为新的中间位宽，执行下一次拟量化操作。

在一些实施例中，上述候选位宽是对应拟量化操作中的起点位宽与中间位宽的中位数。

在一些实施例中，上述拟量化操作还包括：响应于确定起点位宽与目标量化位宽之间的差异不大于1，停止执行拟量化操作。

在一些实施例中，上述拟量化操作还包括：响应于确定第一量化后模型的参数分布与第二量化后模型的参数分布之间的差异在预设的分布差异区间内，基于目标量化位宽对第二量化后模型进行量化，得到第三量化后模型；判断第二量化后模型的参数分布与第三量化后模型的参数分布之间的差异是否在预设的分布差异区间内。若是，停止执行拟量化操作。

在一些实施例中，上述中间位宽是对应的拟量化操作中的起始点位宽和目标量化位宽的中位数。

在一些实施例中，上述方法还包括：基于逐级量化后的神经网络模型对媒体数据进行处理。