[发明专利]训练模型的方法及装置

说明书

本公开提供了一种训练模型的方法及装置。所述方法包括：基于企业通用数据和所述企业通用数据的标签数据训练教师模型；将企业特色数据输入所述教师模型，得到第一预测结果；将所述企业特色数据输入学生模型，得到第二预测结果；根据所述第一预测结果和所述第二预测结果，计算知识蒸馏损失；根据所述企业特色数据的标签数据和所述第二预测结果，计算所述学生模型的预测损失；根据所述知识蒸馏损失和所述预测损失，更新所述学生模型。

技术领域

本公开涉及机器学习技术领域，具体涉及一种训练模型的方法及装置。

背景技术

随着机器学习领域的深入研究，逐渐发觉先验数据在建模过程中起到了至关重要的地位。先验数据可以包括企业通用数据与企业特色数据。

在模型构建初期，如何更好的利用企业通用知识及企业特色知识融合建模是目前亟需解决的问题。

发明内容

有鉴于此，本公开实施例致力于提供一种训练模型的方法及装置，以更好的将企业通用知识及企业特色知识进行融合。

第一方面，提供了一种训练模型的方法，包括：基于企业通用数据和所述企业通用数据的标签数据训练教师模型；将企业特色数据输入所述教师模型，得到第一预测结果；将所述企业特色数据输入学生模型，得到第二预测结果；根据所述第一预测结果和所述第二预测结果，计算知识蒸馏损失；根据所述企业特色数据的标签数据和所述第二预测结果，计算所述学生模型的预测损失；根据所述知识蒸馏损失和所述预测损失，更新所述学生模型。

可选地，在所述基于企业通用数据和所述企业通用数据的标签数据训练教师模型之前，所述方法还包括：从区块链获取多个场景下的企业通用数据和/或企业特色数据，作为所述教师模型和所述学生模型的训练数据。

可选地，所述知识蒸馏损失和所述预测损失均为交叉熵损失，所述根据所述知识蒸馏损失和所述预测损失，更新所述学生模型，包括：对所述知识蒸馏损失和所述预测损失进行加权求和，得到目标损失；根据所述目标损失，更新所述学生模型。

可选地，所述教师模型和/或所述学生模型的训练数据还包括企业画像数据。

可选地，所述教师模型和/或所述学生模型用于对企业进行风险预测。

第二方面，提供了一种训练模型的装置，包括：第一训练单元，被配置为基于企业通用数据和所述企业通用数据的标签数据训练教师模型；第一输入单元，被配置为将企业特色数据输入所述教师模型，得到第一预测结果；第二输入单元，被配置为将所述企业特色数据输入学生模型，得到第二预测结果；第一计算单元，被配置为根据所述第一预测结果和所述第二预测结果，计算知识蒸馏损失；第二计算单元，被配置为根据所述企业特色数据的标签数据和所述第二预测结果，计算所述学生模型的预测损失；更新单元，被配置为根据所述知识蒸馏损失和所述预测损失，更新所述学生模型。

可选地，所述装置还包括：获取单元，被配置为在所述基于企业通用数据和所述企业通用数据的标签数据训练教师模型之前，从区块链获取多个场景下的企业通用数据和/或企业特色数据，作为所述教师模型和所述学生模型的训练数据。

可选地，所述知识蒸馏损失和所述预测损失均为交叉熵损失，所述更新单元进一步被配置为：对所述知识蒸馏损失和所述预测损失进行加权求和，得到目标损失；根据所述目标损失，更新所述学生模型。

可选地，所述教师模型和/或所述学生模型的训练数据还包括企业画像数据。

可选地，所述教师模型和/或所述学生模型用于对企业进行风险预测。

第三方面，提供了一种训练装置，包括存储器及处理器，所述存储器中存储有可执行代码，所述处理器被配置为执行所述可执行代码，以实现如第一方面所述的方法。