[发明专利]重新训练机器学习模型的方法和系统

说明书

本申请涉及一种用于重新训练机器学习模型的方法，包括：在使用机器学习模型的过程中监控所述机器学习模型在一时间段内的一个或多个性能度量；基于所述一个或多个性能度量确定是否需要重新训练所述机器学习模型；如果确定需要重新训练所述机器学习模型，则至少基于所述时间段内的原始数据自动生成样本特征；以及至少使用所述自动生成的样本特征来重新训练所述机器学习模型。本申请还涉及相应的系统和计算机可读存储介质。本申请能够自动、高效地重新训练机器学习模型。

技术领域

本说明书的一个或多个实施例涉及用于重新训练机器学习模型的方法和系统。

背景技术

在风险防控领域(例如网络交易中的风险防控)中，机器学习模型得到了越来越广泛的应用。

然而，在风险防控中，风险形势可能会发生变化。例如，恶意用户可能逐渐学会了规避原机器学习模型的识别和处置。或者，出现了新的恶意行为，而原机器学习模型无法识别这些恶意行为。

为了解决上述问题，可能需要识别出风险形势的变化、生成新训练样本并使用新的训练样本对机器学习模型进行重新训练。然而，现有技术无法识别风险形势的变化，或者需要人工识别风险形势的变化。另外，现有技术中通常可能需要人工生成新训练样本，并人工对机器学习模型进行重新训练。现在也存在自动生成训练样本的方式。然而，现有的生成训练样本的方式大都比较复杂或者效率不高。

因此，存在对于自动化的、简易、高效的重新训练机器学习模型的方案的需要。

发明内容

为了克服现有技术的缺陷，本说明书的一个或多个实施例提供了自动化且高效的重新训练机器学习模型的方案。

本说明书的一个或多个实施例通过以下技术方案来实现其上述目的。

在一个方面中，公开了一种用于重新训练机器学习模型的方法，包括：在使用机器学习模型的过程中监控所述机器学习模型在一时间段内的一个或多个性能度量；基于所述一个或多个性能度量确定是否需要重新训练所述机器学习模型；如果确定需要重新训练所述机器学习模型，则至少基于所述时间段内的原始数据自动生成样本特征；以及至少使用所述自动生成的样本特征来重新训练所述机器学习模型。

优选地，监控所述机器学习模型在一时间段内的一个或多个性能度量包括：获取机器学习模型在该时间段内对样本的预测；确定所述机器学习模型对所述样本的预测是否正确；以及基于所述机器学习模型在该时间段内对样本的预测是否正确来计算机器学习模型的性能度量。

优选地，述一个或多个性能度量包括准确率、精确率、召回率、F1值、ROC曲线下面积、PR曲线下面积或其任何组合。

优选地，基于所述一个或多个性能度量确定是否需要重新训练所述机器学习模型包括基于性能度量、性能度量组合以及性能度量或性能度量组合的变化中的一者或多者来确定是否需要重新训练所述机器学习模型。

优选地，在确定需要重新训练所述机器学习模型后，请求开发者确认是否重新训练机器学习模型，且只有在从开发者接收到重新训练机器学习模型的确认之后，才自动重新训练机器学习模型。

优选地，自动生成样本特征包括：检测与机器学习模型相关联的事件；在检测到所述事件时，记录所述事件的属性以作为原始数据的一部分；以及自动对所述原始数据执行特征工程，以获得所述样本特征。

优选地，自动对所述原始数据执行特征工程包括：对所述原始数据自动地执行数据清洗；对经数据清洗的原始数据自动地执行特征转换和/或特征提取以获得候选特征集；以及执行特征选择以自动地从所述候选特征集中选择特征子集，作为所述样本特征。

优选地，自动对所述原始数据执行特征工程包括：对所述原始数据执行滑窗处理，以便以移动窗口的方式执行对原始数据的划分和处理。

优选地，以增量方式将所述原始数据存储到数据库。