[发明专利]机器学习服务监控系统

说明书

本发明公开了一种机器学习服务监控系统，系统包括服务网关、至少一个Java业务模块和至少一个机器学习服务模块；服务网关对车机端发出的待处理请求进行鉴权，并将通过鉴权的待处理请求转发到Java业务模块；Java业务模块执行与待处理请求对应的业务逻辑，并在业务逻辑执行的过程中需要调用机器学习服务时，请求对应的机器学习服务模块；机器学习服务模块通过机器学习模型对待处理请求进行处理，并将处理结果返回给所述Java业务模块。实现了将基于Python的机器学习服务应用于智能座舱，由于Python编码方便，开发周期短，能够使开发者专注于业务逻辑的开发，提高了智能座舱的开发效率，降低了智能座舱的开发成本。

技术领域

本发明涉及智能座舱技术领域，尤其涉及一种机器学习服务监控系统。

背景技术

随着新能源汽车、通信技术和人工智能相关技术的发展，汽车座舱的智能化趋势越来越明显。智能座舱的丰富功能，很大程度上依赖于语音/自然语言/图像等领域的智能算法，尤其是机器学习/深度学习的相关算法，Java作为后端服务的主流框架，对于云端微服务架构有一套完整的解决方案，适合作为云端服务的入口，但是对于机器学习的相关领域，不适合使用Java编写机器学习算法，而Python作为机器学习领域常用的编程语言具有诸多优点，因此如何提出基于Python的机器学习服务和监控框架成为亟待解决的技术问题。

发明内容

本发明的主要目的在于提供了一种机器学习服务监控系统，旨在解决现有技术无法将基于Python的机器学习服务和监控框架用于智能座舱的技术问题。

为实现上述目的，本发明提供了一种机器学习服务监控系统，所述系统包括服务网关、至少一个Java业务模块和至少一个机器学习服务模块，所述服务网关与各个Java业务模块连接，所述各个Java业务模块与机器学习服务模块连接；

所述服务网关，用于对车机端发出的待处理请求进行鉴权，并将通过鉴权的待处理请求转发到对应的Java业务模块；

所述Java业务模块，用于执行与所述待处理请求对应的业务逻辑，并在所述业务逻辑执行的过程中需要调用机器学习服务时，请求对应的机器学习服务模块；

所述机器学习服务模块，用于通过机器学习模型对所述待处理请求进行处理，并将处理结果返回给所述Java业务模块。

可选地，所述系统还包括异步服务网关接口模块和在线预估模块；

所述机器学习服务模块，用于根据预设超参数预先启动N个异步服务网关接口模块，N为正整数；

所述机器学习服务模块，还用于在所述待处理请求的请求类型为即时请求时，将所述待处理请求发送至请求等待队列；

所述机器学习服务模块，还用于从所述请求等待队列中获取待处理请求，确定所述N个异步服务网关接口模块中空闲的异步服务网关接口模块为目标异步服务网关接口模块，并将所述待处理请求发送至所述目标异步服务网关接口模块；

所述目标异步服务网关接口模块，用于获取与所述待处理请求对应的机器学习模型，并调用对应的在线预估模块处理所述待处理请求，并将处理结果返回至所述Java业务模块。

可选地，所述系统还包括服务注册/配置中心；

所述服务注册/配置中心，用于存储所述在线预估模块注册的机器学习服务地址；

所述Java业务模块，还用于在所述业务逻辑执行的过程中需要调用机器学习服务时，连接所述服务注册/配置中心，并从所述服务注册/配置中心中查找所述待处理请求对应的机器学习服务地址，根据所述机器学习服务地址请求对应的机器学习服务模块。

可选地，所述目标异步服务网关接口模块，还用于确定机器学习模型的类型，并在所述类型为非计算密集型模型时，通过单线程异步模式调用所述机器学习模型；以及