[发明专利]提供机器学习服务的云平台及方法

说明书

提供机器学习服务的云平台和方法，包括：IaaS层、PaaS层和SaaS层，所述IaaS层部署有系统支持模块，所述PaaS层部署有Kubernetes和Docker，所述SaaS层包括公共库服务模块、RESTful微服务模块、应用服务模块和管理维护模块，其中，公共库服务模块，用于记录日志、配置参数、以及数学计算；RESTful微服务模块，用于处理接收到的WEB分类任务的请求、调度和生命周期管理；应用服务模块，用于显示任务运行状态和机器学习的结果；管理维护模块，用于利用Harbor对镜像资源进行管理。采用本申请中的方案，可简单的迁移环境，跟踪实验以及机器学习部署非常容易，实验结果可以重现。

技术领域

本申请涉及云计算技术，具体地，涉及一种提供机器学习服务的云平台和方法。

背景技术

机器学习是一项非常热门的技术，无论应用在安防、交通、医疗、金融、零售等领域。

尽管机器学习可以产生出色的结果，在实践中使用它仍然是很复杂的。除了软件研发中的常见挑战外，机器学习开发人员还面临着新的挑战，包括实验管理(例如：跟踪结果是由哪些参数，代码和数据导致的)、可重复性(例如：稍后可以在相同的运行环境中执行相同的代码)、部署模型到生产环境、以及数据治理(审计在整个机构中使用的模型和数据)。围绕机器学习生命周期的这些关于工作流的挑战，通常是在生产环境中使用机器学习并在机构内部对其扩展的最大障碍。

目前，存在一些云平台支持算法的在线训练业务，这些云平台往往有以下功能：通过点击申请GPU、存储等资源以及相应的环境，自行编写代码进行训练。而利用这些云平台进行机器学习时仍存在以下问题：

1、存在无数彼此独立的工具，从数据准备到模型训练，数百种软件工具涵盖了机器学习生命周期的每个阶段，机器学习开发人员需要围绕数十个库进行生产环境的部署；

2、实验结果难以重现，在训练模型时需要大量的数据并针对性的部署了环境，在用户实际生产环境中使用时需要重新部署环境以及获取大量的数据才有可能获得接近相同的实验结果；

3、跟踪实验以及部署机器学习困难，机器学习算法具有几十种可配置的参数，跟踪这些可配置的参数及其数值非常困难，且将训练好的模型迁移到生产环境是极具挑战性的。

现有技术中存在的问题：

目前没有专门针对机器学习的云平台，导致用户在不同环境使用模型时需要重新执行数据准备、部署环境等大量复杂工作。

发明内容

本申请实例中提供了一种提供机器学习服务的云平台和方法，以解决上述技术问题。

根据本申请实例的第一个方面，提供了一种提供机器学习服务的云平台，包括：IaaS层、PaaS层和SaaS层，所述IaaS层部署有系统支持模块，所述PaaS层部署有Kubernetes和Docker，所述SaaS层包括公共库服务模块、RESTful微服务模块、应用服务模块和管理维护模块，其中，

所述公共库服务模块，用于记录日志、配置参数、以及数学计算；

所述RESTful微服务模块，用于处理接收到的WEB分类任务的请求、调度和生命周期管理；

所述应用服务模块，用于显示任务运行状态和机器学习的结果；

所述管理维护模块，用于利用Harbor对镜像资源进行管理。

根据本申请实例的第二个方面，提供了一种利用如上所述的提供机器学习服务的云平台进行机器学习的方法，包括：

获取训练数据集；

将所述训练数据集以及预先确定的初始算法模型载入预先确定的GPU集群，训练得到训练好的算法模型；