[发明专利]一种模型量化方法和相关装置

说明书

本申请公开一种模型量化方法和相关装置，可应用于云技术、人工智能、智慧交通、辅助驾驶、车载场景等各种场景。在进行模型训练时，获取训练数据，其中包括针对不同样本对象采集到的特征数据和对应的标签，根据特征数据和对应的标签对神经网络模型进行训练得到包括嵌入层和网络层的原始网络模型，原始网络模型的模型参数的存储格式为原始格式。根据确定的目标缩放因子对嵌入层的模型参数进行量化，以将嵌入层的模型参数的存储格式从原始格式转换为目标格式，再将由网络层和量化后的嵌入层构成的神经网络模型确定为目标网络模型进行上线。本方案仅对嵌入层进行后训练量化，在不降低模型指标的前提下压缩模型体积，降低对模型的线上预测效果的影响。

技术领域

本申请涉及人工智能领域，特别是涉及一种模型量化方法和相关装置。

背景技术

随着计算机技术的发展，神经网络模型正得到越来越广泛的关注和应用，例如，应用于信息识别、内容推荐以及对象交互行为预测等等。模型的大小从数GB到几TB不等，越大的模型也代表着更高的模型效果上限。超大规模模型上线需要一定的服务资源，随着模型不断扩大，服务内存逐渐成为线上机器的资源瓶颈。而模型压缩是减少模型体积，进而在运行时使用更少的服务内存的重要手段。

模型压缩的常见技术是模型量化，而目前使用的模型量化技术例如八字节整型(INT8)量化方式，INT8量化后的模型与原始单精度浮点(FP32)模型相比，虽然可将模型的体积减少4倍，并把内存带宽要求减少4倍，但是会导致模型指标例如曲线下的面积(AreaUnder Curve，AUC)指标大大下降，进而大大影响模型的线上预测效果。

发明内容

为了解决上述技术问题，本申请提供了一种模型量化方法和相关装置，实现在不降低模型指标例如AUC指标的前提下，大大压缩模型体积，降低对模型的线上预测效果的影响。

本申请实施例公开了如下技术方案：

一方面，本申请实施例提供一种模型量化方法，所述方法包括：

获取训练数据，所述训练数据中包括针对不同样本对象采集到的特征数据和对应的标签；

根据所述特征数据和对应的标签对构建的神经网络模型进行训练得到原始网络模型，所述原始网络模型的模型参数的存储格式为原始格式，所述原始网络模型包括嵌入层和网络层；

确定目标缩放因子，所述目标缩放因子用于将模型参数的存储格式从所述原始格式转化为目标格式；

根据所述目标缩放因子对所述嵌入层的模型参数进行量化，使得所述嵌入层的模型参数的存储格式从所述原始格式转换为所述目标格式；

将由所述网络层和量化后的所述嵌入层构成的神经网络模型确定为目标网络模型，上线所述目标网络模型。

一方面，本申请实施例提供一种模型量化装置，所述装置包括获取单元、训练单元、确定单元和量化单元：

所述获取单元，用于获取训练数据，所述训练数据中包括针对不同样本对象采集到的特征数据和对应的标签；

所述训练单元，用于根据所述特征数据和对应的标签对构建的神经网络模型进行训练得到原始网络模型，所述原始网络模型的模型参数的存储格式为原始格式，所述原始网络模型包括嵌入层和网络层；

所述确定单元，用于确定目标缩放因子，所述目标缩放因子用于将模型参数的存储格式从所述原始格式转化为目标格式；

所述量化单元，用于根据所述目标缩放因子对所述嵌入层的模型参数进行量化，使得所述嵌入层的模型参数的存储格式从所述原始格式转换为所述目标格式；

所述确定单元，还用于将由所述网络层和量化后的所述嵌入层构成的神经网络模型确定为目标网络模型，上线所述目标网络模型。