[发明专利]机器学习模型与自定义算子的模板化部署方法

说明书

本发明涉及机器学习模型与自定义算子的模板化部署方法，包括：包括：A.根据机器学习模型的预测过程设置通用模板；B.将用户输入的框架名称和机器学习模型的模型名称在配置文件中进行匹配，用配置文件中的相应字段替换通用模板中的替代符；C.根据通用模板生成可执行文件；D.在服务器中以容器的形式运行通用模板和用户上传的机器学习模型，将实例化后的机器学习模型加入到服务序列中；E.用户进行HTTP请求时，根据用户输入的模型ID或自定义算子ID在服务序列中查找机器学习模型实例，并调用模型实例中的预测方法计算后返回结果。本发明能够大幅度缩短机器学习模型的部署时间，显著的降低了在部署环节中的人员开发成本和时间成本。

技术领域

本发明涉及机器学习模型与自定义算子的部署方法，具体讲是机器学习模型与自定义算子的模板化部署方法。

背景技术

近年来，机器学习技术的应用十分广泛，多个行业的技术也因此发生了变革，如金融风控技术、图像识别技术、自动驾驶技术等。机器学习技术应用主要分为两个步骤：(1)训练模型：通过算法拟合数据，持久化一个可复用的模型；(2)部署模型：将模型部署为API(应用程序接口)供其他应用系统调用。前者主要被学术界深入研究，而后者在工业生产应用中是一个比较重要且复杂的环节。它的主要挑战在于常用的技术框架繁多，如：Sklearn、H2O、pyspark、TensorFlow、Keras、Pytorch等，每个框架生成的模型都需要使用一套完全不同的环境依赖和方法来部署调用，并且多数应用不仅会用到模型，还会使用算子(自定义代码)对输入数据进行大量的转化处理，这对模型部署的复杂逻辑处理能力要求较高。上述问题为模型的部署带来了过多的开发工作，大量增加了时间和人力成本。

在现有技术中实现对机器学习模型部署的方法有：

(1)通过MLeap：MLeap(machine learning pipelines)是一种常用的序列化格式和执行引擎。它将可用的机器学习模型持久化为一个MLeap Bundle格式的json文件，再使用Java语言统一运行环境，通过解析Json文件还原模型参数，规避运行环境和框架依赖的问题。

该方法的缺点是：MLeap Bundle的定义并不标准且并不兼容所有模型，并且MLeap的原始目的是为了解决spark MLlib和sciket-learn的模型相互转化的问题，对其他框架的支持较弱。最大的缺点是没有提供模型API(应用程序接口)快速发布的功能。

(2)通过KubeFlow：KubeFlow是基于Kubernetes的主流机器学习解决方案，它采用kubernetes+TensorFlow结合的方式，使用容器编排技术，一站式统一模型训练的集群化管理，并通过seldon core将模型部署为REST API形式。

该方法的缺点是：作为全力支持Tensorflow模型的框架，对于模型部署，其包含了过多的冗余功能，较为“笨重”，如训练步骤中的节点资源管理等。并且该框架的模型部署服务对自定义算子的支持十分薄弱，不能灵活组装模型与代码的pipeline。

上述现有方法实现对机器学习模型部署的步骤一般为：

1、使用原生框架实现模型训练，并保存模型文件。

2、针对模型文件写一个Web服务。

3、将服务打包放到Tomcat服务器中。

4、启动Tomcat服务。

这种部署方法比较复杂，且当模型更新时需重复2、3、4步骤，耗时长且难以对模型服务进行集中管理。

在现有技术中，还包括有用于工作流的模板化开发部署与实例化。而工作流要应对的问题主要是集成大量的无关联计算机程序，使其产生关联，该现有技术与机器学习模型的部署属于两种不同的应用领域。

发明内容