[发明专利]一种提供模型服务的方法、装置及设备

说明书

本发明公开了一种提供模型服务的方法、装置及设备，涉及计算机技术领域，以提高模型服务的系统性能。该方法包括：启动已发布的模型对应的模型服务引擎；接收模型服务请求；根据所述模型服务请求确定用于提供服务的模型，通过所述模型服务引擎解析所述用于提供服务的模型的推理服务规范，并根据对所述推理服务规范的解析结果提供模型服务。本发明实施例可以提高模型服务的系统性能。

技术领域

本发明涉及计算机技术领域，尤其涉及一种提供模型服务的方法、装置、及设备。

背景技术

随着机器学习和深度学习技术的广泛应用，如何高效便捷的把训练好的模型部署到线上环境并提供服务，成为当前模型服务部署的关注点。

BOT(ChatBot，自动应答机器人)系统作为自然语言处理的典型应用，其中涉及到的实体识别、意图识别、多轮对话管理、情感识别、依存句法分析、语义匹配等模块功能均使用相关的机器学习算法来解决。不同的BOT用户由于使用场景和领域不一样，模型应该保持独立。

如图1所示，当前的模型预测服务系统主要由模型加载模块、模型卸载模块、生命周期管理模块、模型预测(推理)模块、模型服务接口(API(Application ProgrammingInterface，应用程序接口))、消息消费模块等模块组成。其中：

模型加载模块：用于将模型加载到内存。由于当前各个机器学习框架均有自己的模型序列化、持久化方式，因此针对不同机器学习框架实现了专门的加载方式，并提供统一的接口；

模型卸载模块：用于将已加载到内存中的模型删除；

生命周期管理模块：负责管理模型的生命周期，比如什么时候应该加载模型，什么时候应该卸载模型，内存达到阈值时应该如何处理模型等；

模型预测模块：实现模型的推理，通常包括输入特征处理、模型预测、预测结果处理等；

模型服务接口：通过REST(Representational State Transfer，表述性状态传递)/GRPC(Google Remote Procedure Call，Google远程过程调用)方式提供模型预测服务接口；

消息消费模块：提供一种异步消息通知模型服务加载或者卸载模型的方式。

由于模型预测服务系统都是将模型加载到本地，因此，当系统承载的租户较多时，将会导致系统性能不稳定。

发明内容

本发明实施例提供一种提供模型服务的方法、装置、设备及存储介质，以提高模型服务的系统性能。

第一方面，本发明实施例提供了一种提供模型服务的方法，包括：

启动已发布的模型对应的模型服务引擎；

接收模型服务请求；

根据所述模型服务请求确定用于提供服务的模型，通过所述模型服务引擎解析所述用于提供服务的模型的推理服务规范，并根据对所述推理服务规范的解析结果提供模型服务。

第二方面，本发明实施例还提供一种提供模型服务的方法，应用于模型服务引擎，包括：

接收启动模型服务引擎的请求并启动；

解析用于提供服务的模型推理服务规范；

根据对所述推理服务规范的解析结果提供模型服务。

第三方面，本发明实施例还提供一种提供模型服务的装置，包括：

第一启动模块，用于启动已发布的模型对应的模型服务引擎；

第一接收模块，用于接收模型服务请求；