[发明专利]基于Kubernetes集群的机器学习模型平台

说明书

本发明涉及一种基于Kubernetes集群的机器学习模型平台，包括：网关模块，用于系统对外服务入口的统一代理；认证服务及API模块，用于系统统一的认证服务；以及模型服务模块，用于模型服务的具体容器部署。所述机器学习模型平台按如下步骤实施：发布者将机器学习模型包装为docker镜像，并集成相应的GRPC接口以及Protobuf说明文件；通过命令将该镜像发布到平台仓库中；平台根据发布者提供的部署表单将模型实例部署到平台中，并自动进行网关端口转发以及负载均衡；使用者通过URL以及权限认证token通过安全认证进行远程过程调用模型接口。该管理平台有利于简化机器学习模型的部署过程，提高模型上线的效率。

技术领域

本发明涉及一种基于Kubernetes集群的机器学习模型平台。

背景技术

随着硬件设备的发展以及数据的爆炸式增长，单一超级计算机的服务架构已经过时。随着docker以及kubernetes的出现，serverless架构的应用已经越来越成熟。大量的厂商也开始提供了kubernetes云服务。

如何简化机器学习模型部署的过程，让开发者可以专注于模型的研究和无需关心模型的部署以及生产环境下的投入使用等因素，是一个亟待解决的问题。

发明内容

本发明的目的在于提供一种基于Kubernetes集群的机器学习模型平台，该平台有利于简化机器学习模型的部署过程，提高模型上线的效率。

为实现上述目的，本发明采用的技术方案是：一种基于Kubernetes集群的机器学习模型平台，包括：

网关模块，用于系统对外服务入口的统一代理；

认证服务及API模块，用于系统统一的认证服务；以及

模型服务模块，用于模型服务的具体容器部署。

进一步地，所述网关模块包括Envoy代理模块和服务发现模块，Envoy网关提供外网统一入口，通过对接Envoy服务发现接口，以实现自动注册内网服务簇的功能，同时通过反向代理和http中间管道过滤，为后续的认证模块、模型模块提供统一管理。

进一步地，所述认证服务及API模块包括模型服务认证模块、Docker仓库认证模块和自动化部署模块，认证服务模块为Grpc模型、Docker私有仓库提供统一的身份认证以及授权管理服务，自动化部署模块集成创建kubernetes部署服务的过程，通过RestfulAPI为外部提供自动化部署接口。

进一步地，所述模型服务模块包括Docker镜像仓库模块和Grpc模型服务模块，Docker镜像仓库模块采用Docker私有仓库镜像部署于kubernetes集群中；Grpc模型服务模块提供统一接口规范，由开发者根据规范编写机器学习模型镜像并通过Docker发布于平台的Docker私有仓库中。

进一步地，所述机器学习模型平台按如下步骤实施：

步骤S1：发布者将机器学习模型包装为docker镜像，并集成相应的GRPC接口以及Protobuf说明文件；通过命令将该镜像发布到平台仓库中；

步骤S2：平台根据发布者提供的部署表单将模型实例部署到平台中，并自动进行网关端口转发以及负载均衡；

步骤S3：使用者通过URL以及权限认证token通过安全认证进行远程过程调用模型接口。

进一步地，所述步骤S1具体包括以下步骤：

步骤S11：开发者通过docker容器完成模型开发和封装；

步骤S12：开发者按照规范封装后GRPC接口并准备好Protobuf文件；

步骤S13：开发者通过docker保存容器的镜像版本，并打上相应的标签；