[发明专利]控制在线模型更新的方法及装置

说明书

本说明书实施例提供一种控制线上模型更新的方法和装置，方法包括，从输入到线上第一模型的线上输入样本中采集第一数目的样本，用以进行人工标注；获取人工标注的第一数目的样本，作为训练样本；然后，至少基于所述训练样本，离线训练第一模型，得到第二模型。接着，利用预定测试样本集，离线测试所述第二模型；在测试结果满足预定条件的情况下，将线上运行的所述第一模型更新为第二模型。

技术领域

本说明书一个或多个实施例涉及模型训练和模型测试领域，尤其涉及更新在线模型的方法和装置。

背景技术

随着人工智能的发展，已经针对各种各样的业务场景进行建模和机器学习，因此各种各样的神经网络模型被运用在丰富的业务场景中。

例如，在车辆定损场景中，已经提出了多种模型，例如用于识别车辆部件的模型，用于识别车辆损失程度的模型，用于计算定损理赔方案的模型，等等。这些模型需要利用大量训练样本进行训练，然后用测试样本进行测试，测试通过之后，投入线上运行。然而，在有些情况下，即使训练和测试通过的模型，仍然需要对其进行更新，以进一步提高其准确度。

因此，希望能有改进的方案，更加有效地对在线运行的模型进行更新。

发明内容

本说明书一个或多个实施例描述了一种控制线上模型更新的方法，可以对线上运行的模型进行自动高效的监控和更新。

根据第一方面，提供了一种控制线上模型更新的方法，包括：

从线上输入样本中采集第一数目的样本，用以进行人工标注，所述线上输入样本用于输入到线上运行的第一模型；

获取人工标注的所述第一数目的样本，作为训练样本；

至少基于所述训练样本，离线训练所述第一模型，得到第二模型；

利用预定测试样本集，离线测试所述第二模型；

在测试结果满足预定条件的情况下，将线上运行的所述第一模型更新为第二模型。

根据一种可能的设计，上述方法还包括：评估所述线上运行的第一模型的预测准确度。

进一步地，在一个实施例中，通过以下方式评估所述线上运行的第一模型的预测准确度：

从所述线上输入样本中采集第二数目的样本，用以进行人工标注；

获取人工标注的所述第二数目的样本，作为第一测试样本集；

利用所述第一测试样本集，测试所述线上运行的第一模型的预测准确度。

更具体地，在一个实施例中，通过以下方式测试所述线上运行的第一模型的预测准确度：

获取所述线上运行的第一模型对所述第二数目的样本的预测结果；

获取所述第二数目的样本的人工标注标签；

通过比对所述预测结果和所述人工标注标签，确定所述线上运行的第一模型的预测准确度。

在一种实施方式中，在将线上运行的所述第一模型更新为第二模型之后，评估线上运行的第二模型的预测准确度。

进一步地，根据一种可能的实施方式，利用前述的第一测试样本集，测试所述线上运行的第二模型的预测准确度。

在另一种可能的实施方式中，通过以下方式评估线上运行的第二模型的预测准确度：

从输入到第二模型的线上输入样本中采集第三数目的样本，用以进行人工标注；

获取人工标注的所述第三数目的样本，作为第二测试样本集；

利用所述第二测试样本集，测试所述线上运行的第二模型的预测准确度。