[发明专利]实现线上机器学习模型的更新迭代的方法和装置

说明书

公开了一种实现线上机器学习模型的更新迭代的方法和装置，所述方法包括：由至少一个串行工作的机器学习模型组成的模型组对业务样本进行预测；模型组中的包括排在最前的机器学习模型的一个或多个机器学习模型被设置为：允许预测值大于本模型的基准阈值的业务样本通过，拒绝预测值小于本模型的比基准阈值小的下探阈值的业务样本，允许预测值小于等于基准阈值且大于等于下探阈值的业务样本以本模型对应的概率通过；获取模型组允许通过的业务样本的业务反馈信息，根据业务反馈信息与相应的业务样本构成训练样本；基于排在最后的机器学习模型上线之后的预定时间内产生的训练样本来训练新的机器学习模型，将训练好的新的机器学习模型串接到模型组中。

技术领域

本公开总体说来涉及人工智能(AI)领域，更具体地，涉及一种实现线上机器学习模型的更新迭代的方法和装置。

背景技术

在机器学习领域，往往通过将经验数据提供给机器学习算法来训练机器学习模型以确定构成机器学习模型的理想参数，而训练好的机器学习模型可在各种业务领域被应用于在面对新的业务样本时提供相应的预测结果。机器学习模型的构建和应用不是一蹴而就的事情，随着时间的推移，模型需要不断使用新的数据来迭代和更新。一方面，随着时间的推移，会积累更丰富的数据，而且越新的数据越能反应最新的趋势和业务变化；另一方面，随着业务的开展，可能会有新的数据来源，供模型更好的刻画业务样本，这些都是触发模型升级迭代的内在原因。

在利用机器学习模型进行业务判断的场景，新积累的数据是由经过模型判断允许通过后的样本和该样本在实际业务中的表现信息所组成的。因此，如果用新积累的数据训练出的新模型直接替换旧模型，会由于新模型未“见”过“坏”的样本(旧模型判断拒绝通过的样本)而导致其业务判断的准确率下降，给实际业务带来风险。

发明内容

本公开的示例性实施例提供了一种实现线上机器学习模型的更新迭代的方法，所述方法包括：由至少一个串行工作的机器学习模型组成的模型组来对业务样本进行预测，其中，所述模型组中的包括排在最前的机器学习模型的一个或多个机器学习模型被设置为按以下方式工作：允许预测值大于本模型对应的基准阈值的业务样本通过，拒绝预测值小于本模型对应的比所述基准阈值小的下探阈值的业务样本，允许预测值小于等于所述基准阈值且大于等于所述下探阈值的业务样本以本模型对应的概率通过，并且其中，所述模型组中的其它机器学习模型被设置为按以下方式工作：允许预测值大于等于与本模型对应的基准阈值的业务样本通过，拒绝预测值小于所述基准阈值的业务样本；获取所述模型组允许通过的业务样本的业务反馈信息，根据业务反馈信息与相应的业务样本构成训练样本；基于在当前模型组中的排在最后的机器学习模型上线之后的预定时间内产生的训练样本来训练新的机器学习模型，并将训练好的新的机器学习模型串接在所述排在最后的机器学习模型之后以将所述新的机器学习模型上线；分别降低所述一个或多个机器学习模型中的每个机器学习模型的基准阈值和下探阈值，其中，降低后的下探阈值小于降低后的基准阈值；当模型组中的一个机器学习模型的基准阈值变更为小于等于预设预警阈值时，下线该机器学习模型。

根据本公开的示例性实施例，其中，所述基于在当前模型组中的排在最后的机器学习模型上线之后的预定时间内产生的训练样本来训练新的机器学习模型的步骤可以包括：遵循训练样本的分布与当前模型组中的排在最后的机器学习模型上线之后的业务样本分布保持一致的原则，获取训练样本；基于所获取的训练样本训练所述新的机器学习模型。

根据本公开的示例性实施例，其中，当所述一个或多个机器学习模型仅包括排在最前的机器学习模型时，遵循训练样本的分布与当前模型组中的排在最后的机器学习模型上线之后的业务样本分布保持一致的原则获取的训练样本可以满足下述公式：