[发明专利]服务处理方法、装置及电子设备

说明书

本发明实施例提供一种服务处理方法、装置及电子设备，其中，方法包括：创建用于构建模型服务的多个模型服务单元；编辑所述多个模型服务单元对应的管理模型，所述管理模型用于对所述模型服务单元在运行时相互之间的通信状态进行管理；对所述多个模型服务单元及其对应的管理模型进行编排，构建所述模型服务。本发明实施例的方案，能够有效规避模型服务单体化的弊端，使其支持微服务化治理，并能实现模型服务的灵活部署。

技术领域

本申请涉及通信技术领域，尤其涉及一种服务处理方法、装置及电子设备。

背景技术

随着机器学习的广泛应用，如何高效的把训练好的机器学习的模型部署到生产环境成为模型服务，正在被越来越多的工具所支持。模型服务的形成包括以及几个环节：数据采集，数据分析、数据变形、数据验证、数据训练、模型创建、模型验证、大规模训练、模型发布，提供服务、模型监控和日志。而在该过程中，诸多的机器学习工具为模型开发者提供不同的选择，同时也给模型的部署带来了不同的挑战。

传统的模型部署及运行时环境支持，都存在一定的弊端，包括：

1.模型服务应用单体化，不支持微服务化的治理，导致不能根据不同工作负载类型的在模型运行时对服务资源进行动态扩缩容；

2.模型服务的路由管理与机器学习模型算法紧耦合，导致模型算法改变时，即使路由管理不改变，仍然需要全部重新部署；

3.一个模型服务单元的输出到下一个模型服务单元的输入的转换规则与各个模型单元及引擎紧耦合，无法实现灵活的协议转换、数据格式转换。

发明内容

本发明提供了一种服务处理方法、装置及电子设备，能够有效规避模型服务单体化的弊端，使其支持微服务化治理，并能实现模型服务的灵活部署。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供了一种服务处理方法，包括：

创建用于构建模型服务的多个模型服务单元；

编辑所述多个模型服务单元对应的管理模型，所述管理模型用于对所述模型服务单元在运行时相互之间的通信状态进行管理；

对所述多个模型服务单元及其对应的管理模型进行编排，构建所述模型服务。

第二方面，提供了一种服务处理装置，包括：

服务单元创建模块，用于创建用于构建模型服务的多个模型服务单元；

管理模型编辑模块，用于编辑所述多个模型服务单元对应的管理模型，所述管理模型用于对所述模型服务单元在运行时相互之间的通信状态进行管理；

模型服务编排模块，用于对所述多个模型服务单元及其对应的管理模型进行编排，构建所述模型服务。

第三方面，提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于执行所述程序，所述程序运行时执行本发明提供的服务处理方法。

本发明提供了一种服务处理方法、装置及电子设备，通过创建用于构建模型服务的多个模型服务单元；编辑多个模型服务单元对应的管理模型，该管理模型用于对模型服务单元在运行时相互之间的通信状态进行管理；对多个模型服务单元及其对应的管理模型进行编排，构建模型服务，从而实现将模型部署到生产环境中成为模型服务。本方案中由于是将待构建的模型服务拆分成多个模型服务单元并通过管理模型来实现各模型服务单元之间的通信，以整体对外提供服务，因此可以有效规避模型服务单体化的弊端，使其支持微服务化治理，并能实现模型服务的灵活部署。