[发明专利]重新训练机器学习模型的方法和系统

权利要求书

1.一种用于重新训练机器学习模型的方法，其特征在于，包括：

在使用机器学习模型的过程中监控所述机器学习模型在一时间段内的一个或多个性能度量；

基于所述一个或多个性能度量确定是否需要重新训练所述机器学习模型；

如果确定需要重新训练所述机器学习模型，则至少基于所述时间段内的原始数据自动生成样本特征；以及

至少使用所述自动生成的样本特征来重新训练所述机器学习模型。

2.如权利要求1所述的方法，其特征在于，监控所述机器学习模型在一时间段内的一个或多个性能度量包括：

获取机器学习模型在该时间段内对样本的预测；

确定所述机器学习模型对所述样本的预测是否正确；以及

基于所述机器学习模型在该时间段内对样本的预测是否正确来计算机器学习模型的性能度量。

3.如权利要求1所述的方法，其特征在于，所述一个或多个性能度量包括准确率、精确率、召回率、F1值、ROC曲线下面积、PR曲线下面积或其任何组合。

4.如权利要求1所述的方法，其特征在于，基于所述一个或多个性能度量确定是否需要重新训练所述机器学习模型包括基于性能度量、性能度量组合以及性能度量或性能度量组合的变化中的一者或多者来确定是否需要重新训练所述机器学习模型。

5.如权利要求1所述的方法，其特征在于，在确定需要重新训练所述机器学习模型后，请求开发者确认是否重新训练机器学习模型，且只有在从开发者接收到重新训练机器学习模型的确认之后，才自动重新训练机器学习模型。

6.如权利要求1所述的方法，其特征在于，自动生成样本特征包括：

检测与机器学习模型相关联的事件；

在检测到所述事件时，记录所述事件的属性以作为原始数据的一部分；以及

自动对所述原始数据执行特征工程，以获得所述样本特征。

7.如权利要求6所述的方法，其特征在于，自动对所述原始数据执行特征工程包括：

对所述原始数据自动地执行数据清洗；

对经数据清洗的原始数据自动地执行特征转换和/或特征提取以获得候选特征集；以及

执行特征选择以自动地从所述候选特征集中选择特征子集，作为所述样本特征。

8.如权利要求7所述的方法，其特征在于，自动对所述原始数据执行特征工程包括：

对所述原始数据执行滑窗处理，以便以移动窗口的方式执行对原始数据的划分和处理。

9.如权利要求6所述的方法，其特征在于，以增量方式将所述原始数据存储到数据库。

10.如权利要求9所述的方法，其特征在于，所述数据库为HBase数据库。

11.如权利要求1所述的方法，其特征在于，所述方法还包括：

将自动生成的样本特征的量与阈值量进行比较；以及

只有所述自动生成的样本特征的量达到或超过阈值时，才重新训练所述机器学习模型。

12.如权利要求1所述的方法，其特征在于，所述方法还包括：

将经重新训练的机器学习模型的性能与原机器学习模型的性能进行比较，并在所述经重新训练的机器学习模型的性能优于所述原机器学习模型的性能时用所述经重新训练的机器学习模型来取代所述原机器学习模型。

13.如权利要求1所述的方法，其特征在于，所述方法还包括：

使用LSTM模型自动生成velocity特征，且所述velocity特征也被用于重新训练所述机器学习模型。