[发明专利]机器学习服务监控系统

权利要求书

1.一种机器学习服务监控系统，其特征在于，所述系统包括服务网关、至少一个Java业务模块和至少一个机器学习服务模块，所述服务网关与各个Java业务模块连接，所述各个Java业务模块与机器学习服务模块连接；

所述服务网关，用于对车机端发出的待处理请求进行鉴权，并将通过鉴权的待处理请求转发到对应的Java业务模块；

所述Java业务模块，用于执行与所述待处理请求对应的业务逻辑，并在所述业务逻辑执行的过程中需要调用机器学习服务时，请求对应的机器学习服务模块；

所述机器学习服务模块，用于通过机器学习模型对所述待处理请求进行处理，并将处理结果返回给所述Java业务模块。

2.如权利要求1所述的系统，其特征在于，所述系统还包括异步服务网关接口模块和在线预估模块；

所述机器学习服务模块，用于根据预设超参数预先启动N个异步服务网关接口模块，N为正整数；

所述机器学习服务模块，还用于在所述待处理请求的请求类型为即时请求时，将所述待处理请求发送至请求等待队列；

所述机器学习服务模块，还用于从所述请求等待队列中获取待处理请求，确定所述N个异步服务网关接口模块中空闲的异步服务网关接口模块为目标异步服务网关接口模块，并将所述待处理请求发送至所述目标异步服务网关接口模块；

所述目标异步服务网关接口模块，用于获取与所述待处理请求对应的机器学习模型，并调用对应的在线预估模块处理所述待处理请求，并将处理结果返回至所述Java业务模块。

3.如权利要求2所述的系统，其特征在于，所述系统还包括服务注册/配置中心；

所述服务注册/配置中心，用于存储所述在线预估模块注册的机器学习服务地址；

所述Java业务模块，还用于在所述业务逻辑执行的过程中需要调用机器学习服务时，连接所述服务注册/配置中心，并从所述服务注册/配置中心中查找所述待处理请求对应的机器学习服务地址，根据所述机器学习服务地址请求对应的机器学习服务模块。

4.如权利要求2所述的系统，其特征在于，所述目标异步服务网关接口模块，还用于确定机器学习模型的类型，并在所述类型为非计算密集型模型时，通过单线程异步模式调用所述机器学习模型；以及

在所述类型为计算密集型模型时，通过线程池模式调用所述机器学习模型。

5.如权利要求3所述的系统，其特征在于，所述系统还包括对象存储服务器集群和关系数据库集群；

所述目标异步服务网关接口模块，还用于根据所述待处理请求从所述对象存储服务器集群上下载对应的机器学习模型，从所述服务注册/配置中心的服务配置参数表中获取所述机器学习模型对应的超参数，从所述关系数据库集群中读取业务数据；

所述目标异步服务网关接口模块，还用于使用所述机器学习模型、所述超参数和所述业务数据，并调用对应的在线预估模块对所述待处理请求进行预估处理，并将处理结果返回至所述Java业务模块。

6.如权利要求2所述的系统，其特征在于，所述目标异步服务网关接口模块，还用于在响应函数的起点处接收到所述Java业务模块发送的追溯标签时，记录调用开始时间；以及

在所述机器学习模型对所述待处理请求完成预估处理时，记录调用完成时间；

所述目标异步服务网关接口模块，还用于根据所述调用开始时间和所述调用完成时间确定链路耗时，并将所述链路耗时上报至链路耗时收集程序。

7.如权利要求2-6任一项所述的系统，其特征在于，所述系统还包括监控报警模块；

所述目标异步服务网关接口模块，还用于在响应函数中输出预设监控指标；

所述监控报警模块，用于拉取所述预设监控指标，并将所述预设监控指标在可视化平台展示。

8.如权利要求7所述的系统，其特征在于，所述目标异步服务网关接口模块，还用于根据缓存数据库集的入口地址和鉴权凭证将所述待处理请求的请求参数和各请求参数对应的处理结果存储至缓存数据库集群。