[发明专利]一种机器学习引擎服务系统及模型训练方法和配置方法

说明书

本发明实施例提供了一种机器学习引擎服务系统及模型训练方法和配置方法，该系统中，模型管理模块基于使用用户确定的目标任务，获取对应的目标配置信息，各配置信息中包含任务模型使用的网络模型信息。然后基于目标配置信息，按照目标训练流程，调用模型训练引擎基于目标数据集对模型进行训练。本发明实施例提供的系统，任务模型的配置信息包含了该任务模型进行训练时需要调用的相关信息，用户使用该任务模型时，可以直接调用对应的配置文件对模型进行训练来得到想要的结果，并不需要进行代码迁移，从而降低了机器学习的门槛并提高了机器学习的鲁棒性。

技术领域

本发明涉及机器学习技术领域，特别是涉及一种机器学习引擎服务系统及模型训练方法和配置方法。

背景技术

目前，机器学习技术被广泛应用到各个技术领域中，例如：视频监控、行为分析、图像处理等等技术领域。

为了实现机器学习，相关技术中，提供了一些深度学习框架，例如：Caffe(Convolutional Architecture for Fast Feature Embedding，快速特征嵌入的卷积结构)、TensorFlow、Pytorch等等。

应用这些深度学习框架，针对常见的机器学习模型，如神经网络模型，不需要研发人员从复杂的神经网络开始编代码，可以根据需要选择已有的模型，通过训练得到模型参数，也可以在已有模型的基础上增加自己的层后，再进行训练。

然而，当需要使用新的算法的时候，就需要研发人员针对新的算法去编写新的算法代码，然后调用深度学习框架的函数接口使用研发人员自定义的新算法。

随着人工智能技术的快速发展，出现了基于高级机器学习算法，例如：半监督学习、主动学习等算法。高级机器学习算法被定义为：指一种机器学习思想或范式，通常经过多个子算法组合实现，每种高级机器学习算法所使用的子算法也不固定，可以由开发人员根据实际需求进行选择。

在实际的算法开发中，针对每种高级机器学习算法，研发人员往往是先对需要使用的单个子算法进行单点技术研发，然后再通过代码迁移的方式将多个子算法拼接在一起，从而定义出新算法。

实际上有些单个子算法，可能被应用到多种高级机器学习算法中。这种情况下，仍然需要针对每种高级机器学习算法对单个子算法分别迁移一遍，耗费精力较大。

可见，针对高级机器学习算法，无法直接应用相关技术中的深度学习框架，研发人员不仅需要进行单个子算法的单点技术研发，还需要进行代码迁移，鲁棒性较差。

发明内容

本发明实施例的目的在于提供一种机器学习引擎服务系统及模型训练方法，以提高机器学习的鲁棒性。具体技术方案如下：

在本发明实施例的一方面，提供了一种机器学习引擎服务系统，所述系统包括：

模型管理模块、数据管理模块、模型训练引擎、配置信息存储模块和模型信息存储模块；

所述模型训练引擎，用于对网络模型进行训练；

所述配置信息存储模块，用于存储所述系统提供的每种任务模型的配置信息；其中，每种任务模型的配置信息中，包含：该任务模型使用的网络模型的结构信息、该网络模型的超参数和该任务模型使用的数据集的配置信息；

所述模型信息存储模块，用于存储所述系统提供的每种网络模型的模型数据；所述网络模型的模型数据包括该网络模型的程序代码；