[发明专利]一种模型在线监控方法及系统

权利要求书

1.一种模型在线监控方法，其特征在于，应用于数据分析系统，所述方法包括：

基于当前模型服务获取实时业务数据；

基于所述实时业务数据重新训练算法模型；

将所述重新训练的算法模型与所述当前模型服务对应的当前在线模型进行比对；

基于比对结果调整所述当前模型服务；

重复执行上述步骤，以对当前在线模型进行实时监控；

所述基于当前模型服务获取实时业务数据的步骤之前，还包括：

根据实际业务需求，基于历史数据训练得到原始算法模型，并将所述原始算法模型上线发布为模型服务；所述实际业务需求包括得到预测目标值、聚类结果、异常检测结果、语义分析结果中的至少之一；

所述方法还包括：基于接收到的用户选择下线当前在线模型的指令，关闭所述当前模型服务，终止对当前在线模型的监控。

2.根据权利要求1所述的方法，其特征在于，所述将所述原始算法模型上线发布为模型服务的步骤包括：

识别所述原始算法模型的格式；

确定模型服务的部署策略和调用方式；

构建模型服务镜像，并基于所述部署策略申请发布资源；

基于申请到的发布资源运行所述模型服务镜像，按照识别的格式解析所述原始算法模型，并按照确定的调用方式提供应用原始算法模型的接口。

3.根据权利要求1所述的方法，其特征在于，在训练所述原始算法模型时，采用手动接入方式接入所述历史数据；所述历史数据的数据源为网络文件系统NFS、分布式文件系统DFS、JDBC数据源、数据仓库、分布式数据库和网络爬虫中的至少之一。

4.根据权利要求1所述的方法，其特征在于，所述实时业务数据的数据源为应用程序编程接口RESTful API、消息队列、批处理数据中的至少之一。

5.根据权利要求1所述的方法，其特征在于，还包括：

将获取的实时业务数据保存为增量数据集。

6.根据权利要求1所述的方法，其特征在于，在执行基于当前模型服务获取实时业务数据的步骤时，还执行以下步骤：

获取评估数据。

7.根据权利要求6所述的方法，其特征在于，所述获取评估数据的步骤之后，还包括：

将获取的所述实时业务数据和所述评估数据保存为增量数据集。

8.根据权利要求5或7所述的方法，其特征在于，所述基于所述实时业务数据重新训练算法模型的步骤，包括：

每间隔预设时长或当所述增量数据集的数据增量达到预设阈值时，基于所述增量数据集重新训练算法模型。

9.根据权利要求5所述的方法，其特征在于，所述基于所述实时业务数据重新训练算法模型的步骤，还包括：

每间隔预设时长或当所述增量数据集的数据增量达到预设阈值时，基于历史数据和所述增量数据集重新训练算法模型。

10.根据权利要求1所述的方法，其特征在于，所述将所述重新训练的算法模型与所述当前模型服务对应的当前在线模型进行比对的步骤，包括：

确定至少一种评分指标；

根据所述至少一种评分指标获取所述重新训练的算法模型的第一评分；

根据所述至少一种评分指标获取所述当前在线模型的第二评分；

将所述第一评分与所述第二评分进行比较，输出所述比对结果。

11.根据权利要求10所述的方法，其特征在于，所述确定至少一种评分指标的步骤包括：

确定比对规则，所述比对规则包括单一指标评分规则和组合指标评分规则；

若是单一指标评分规则，则确定一种所述评分指标；

若是组合指标评分规则，则确定至少两种所述评分指标。