[发明专利]控制在线模型更新的方法及装置

权利要求书

1.一种控制线上业务模型更新的方法，包括：

在线上运行第一业务模型的过程中，控制系统从线上输入样本中采集第一数目的样本，发送至人工标注平台，用以进行人工标注，所述线上输入样本用于输入到线上运行的第一业务模型；

控制系统从人工标注平台获取人工标注的所述第一数目的样本，作为训练样本，并将所述训练样本转化为所需格式数据；

控制系统将所需格式的训练样本传入到线下训练服务器，通过该线下训练服务器，至少基于所述训练样本，离线训练所述第一业务模型，得到第二业务模型；

控制系统利用预定测试样本集，离线测试所述第二业务模型；

控制系统在测试结果满足预定条件的情况下，将第二业务模型的参数传入在线系统，从而将线上运行的所述第一业务模型更新为第二业务模型。

2.根据权利要求1所述的方法，还包括：评估所述线上运行的第一业务模型的预测准确度。

3.根据权利要求2所述的方法，其中评估所述线上运行的第一业务模型的预测准确度包括：

从所述线上输入样本中采集第二数目的样本，用以进行人工标注；

获取人工标注的所述第二数目的样本，作为第一测试样本集；

利用所述第一测试样本集，测试所述线上运行的第一业务模型的预测准确度。

4.根据权利要求3所述的方法，利用所述第一测试样本集，测试所述线上运行的第一业务模型的预测准确度，包括：

获取所述线上运行的第一业务模型对所述第二数目的样本的预测结果；

获取所述第二数目的样本的人工标注标签；

通过比对所述预测结果和所述人工标注标签，确定所述线上运行的第一业务模型的预测准确度。

5.根据权利要求3所述的方法，还包括，在将线上运行的所述第一业务模型更新为第二业务模型之后，评估线上运行的第二业务模型的预测准确度。

6.根据权利要求5所述的方法，其中，评估线上运行的第二业务模型的预测准确度包括：

利用所述第一测试样本集，测试所述线上运行的第二业务模型的预测准确度。

7.根据权利要求5所述的方法，其中，评估线上运行的第二业务模型的预测准确度包括：

从输入到第二业务模型的线上输入样本中采集第三数目的样本，用以进行人工标注；

获取人工标注的所述第三数目的样本，作为第二测试样本集；

利用所述第二测试样本集，测试所述线上运行的第二业务模型的预测准确度。

8.根据权利要求1所述的方法，其中，至少基于所述训练样本，离线训练所述第一业务模型包括：

将所述训练样本添加到原训练样本集中，得到更新的训练样本集；

利用所述更新的训练样本集，离线训练所述第一业务模型。

9.根据权利要求1所述的方法，其中，至少基于所述训练样本，离线训练所述第一业务模型包括：

响应于所述第一数目达到预设阈值，离线训练所述第一业务模型；或者，

每隔预定时间间隔，离线训练所述第一业务模型。

10.根据权利要求2所述的方法，其中，至少基于所述训练样本，离线训练所述第一业务模型包括：

在所述第一业务模型的预测准确度低于预设的第一准确度阈值的情况下，离线训练所述第一业务模型。

11.根据权利要求1所述的方法，其中，所述预定测试样本集包括多个测试子集；

所述离线测试所述第二业务模型包括，按照测试子集中样本数目从少到多的顺序，依次利用所述多个测试子集，测试所述第二业务模型的准确度，得到多个测试准确度。

12.根据权利要求11所述的方法，所述测试结果满足预定条件包括，所述多个测试准确度均高于预设的第二准确度阈值。