[发明专利]一种模型量化方法和相关装置

权利要求书

1.一种模型量化方法，其特征在于，所述方法包括：

获取训练数据，所述训练数据中包括针对不同样本对象采集到的特征数据和对应的标签；

根据所述特征数据和对应的标签对构建的神经网络模型进行训练得到原始网络模型，所述原始网络模型的模型参数的存储格式为原始格式，所述原始网络模型包括嵌入层和网络层；

确定目标缩放因子，所述目标缩放因子用于将模型参数的存储格式从所述原始格式转化为目标格式；

根据所述目标缩放因子对所述嵌入层的模型参数进行量化，使得所述嵌入层的模型参数的存储格式从所述原始格式转换为所述目标格式；

将由所述网络层和量化后的所述嵌入层构成的神经网络模型确定为目标网络模型，上线所述目标网络模型。

2.根据权利要求1所述的方法，其特征在于，所述训练数据中的特征数据属于N个样本对象，所述嵌入层的模型参数为N×K，K为特征维度，N和K为正整数，所述确定目标缩放因子，包括：

针对每个样本对象对应的模型参数，根据所述原始格式和所述目标格式确定对应的目标缩放因子，得到N个目标缩放因子，对应于同一样本对象的模型参数的目标缩放因子相同；

所述根据所述目标缩放因子对所述嵌入层的模型参数进行量化，使得所述嵌入层的模型参数的存储格式从所述原始格式转换为所述目标格式，包括：

将所述嵌入层中对应于同一样本对象的模型参数分别作为目标模型参数，确定所述目标模型参数对应的目标缩放因子；

利用所述目标模型参数对应的目标缩放因子，对所述目标模型参数进行量化，使得所述目标模型参数的存储格式从所述原始格式转换为所述目标格式。

3.根据权利要求1所述的方法，其特征在于，所述确定目标缩放因子，包括：

确定所述模型参数在所述原始格式下的目标绝对值的最大值；

根据所述目标绝对值的最大值确定所述目标缩放因子。

4.根据权利要求3所述的方法，其特征在于，所述确定所述模型参数在所述原始格式下的目标绝对值的最大值，包括：

根据当前绝对值的最大值确定当前缩放因子；

根据所述当前缩放因子和所述嵌入层的模型参数确定当前量化后的模型参数；

根据当前量化后的模型参数和所述嵌入层的模型参数计算当前均方误差损失；

若所述当前均方误差损失满足优化停止条件，将所述当前绝对值的最大值确定为所述目标绝对值的最大值。

5.根据权利要求4所述的方法，其特征在于，所述当前绝对值的最大值是在初始化绝对值的最大值基础上，按照预设步长调整得到的。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述上线所述目标网络模型之后，所述方法还包括：

根据所述目标缩放因子，对所述目标网络模型中的嵌入层的模型参数进行反量化处理；

利用反量化处理后的嵌入层对输入数据进行特征编码，得到特征向量；

将所述特征向量输入至所述目标网络模型中的网络层进行预测，得到预测结果。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述神经网络模型为内容推荐模型，所述特征数据包括样本对象特征和样本内容特征，所述标签包括样本对象对样本内容的历史反馈信息。