[发明专利]多分类模型自学习在线更新方法、系统及装置

说明书

本发明涉及人工智能，提供一种多分类模型自学习在线更新方法，包括：根据预设统计周期对待更新模型的预测性能进行监测统计，并将各统计周期内的预测性能统计结果存入统计数据库；使用预设的触发机制对所述统计数据库内的数据进行检查，以判断所述待更新模型是否需要进行在线更新；若所述待更新模型需要进行在线更新，则获取线上新产生数据，并根据所述新产生数据对待更新模型的训练数据进行更新；使用更新后训练数据对所述待更新模型进行更新训练，以获得更新后的多分类模型。本发明还涉及区块链技术，统计数据库存储于区块链中。本发明提供技术方案既能够解决现有的多分类模型随时时间的推移，预测精度显著降低，且不能实现自动更新的问题。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种多分类模型自学习在线更新方法、系统、装置及存储介质。

背景技术

在人工智能技术领域，机器学习模型是常见使用手段，比如多分类模型，用于对待测数据进行分类，实现数据分类自动化，提高分类效率。然而，对于机器学习模型(尤其是多分类模型)，其预测性能主要取决于对训练样本数据的挖掘，训练数据样本对实际数据的模拟性越强，则模型的预测性能越强。

然而，当训练好的模型部署上线后，如果线上待预测数据分布或模式随时间变化，出现较多训练数据未覆盖的模式时，模型的预测精度将大幅下降。如政府公文分类模型，待预测的公文内容会随当前时事或政策变化。因此，需要利用新获取的标注数据对受时效影响的模型进行更新。如果采用人工进行更新，则需要技术人员跟踪模型性能，持续反复训练模型并进行部署上线，势必会耗费较大人力。

目前现有的机器学习模型自动更新方法较少，尤其是对于多分类模型，还不能实现其自动更新，主要问题为缺少对多分类模型更新的触发机制、训练数据的选择以及模型更新等具体技术方案的设定，因此不能实现多分类模型的自动更新。

基于以上问题，亟需一种能够实现多分类模型自动更新的方法。

发明内容

本发明提供一种多分类模型自学习在线更新方法、系统、电子装置以及计算机存储介质，其主要目的在于解决现有的多分类模型随时时间的推移，预测精度显著降低，且不能实现自动更新的问题。

为实现上述目的，本发明提供一种多分类模型自学习在线更新方法，该方法包括如下步骤：

根据预设统计周期对待更新模型的预测性能进行监测统计，并将各统计周期内的预测性能统计结果存入统计数据库；

使用预设的触发机制对所述统计数据库内的数据进行检查，以判断所述待更新模型是否需要进行在线更新；

若所述待更新模型需要进行在线更新，则获取线上新产生数据，并根据所述新产生数据对待更新模型的训练数据进行更新；

使用更新后训练数据对所述待更新模型进行更新训练，以获得更新后的多分类模型。

优选地，所述统计数据库存储在区块链中，并且所述预测性能包括预测精度precision值，所述预测精度precision值的计算公式为：

预测精度Precision值＝正确分类的样本数/整体的样本数；并且，

所述触发机制包括：

机制A：若包含当前统计周期在内的历史N个统计周期的预测精度precision值持续下降，则判定所述待更新模型需要进行在线更新，其中，N为第一预设参数。

另外，本发明还提供一种多分类模型自学习在线更新系统，所述系统包括：

性能监测单元，用于根据预设统计周期对待更新模型的预测性能进行监测统计，并将各统计周期内的预测性能统计结果存入统计数据库；

机制触发单元，用于使用预设的触发机制对所述统计数据库内的数据进行检查，以判断所述待更新模型是否需要进行在线更新；