[发明专利]一种提取机器学习任务的元数据的方法、装置

说明书

本申请提供了一种提取机器学习任务中的元数据的方法，所述方法应用于虚拟化环境，该方法包括：根据用户输入的机器学习程序代码在虚拟化环境中运行机器学习任务；从所述机器学习程序代码中提取元数据，所述元数据用于对所述机器学习任务的运行环境进行复现；将所述元数据存储在第一存储空间。本申请提供的技术方案在目标机器学习任务的训练过程中，自动提取复现一个特定的训练环境时所需要的相关的元数据，在其他开发者想要复现一个特定的训练环境时，根据存储的元数据对特定的训练环境进行复现，加快了模型的传播。

技术领域

本申请涉及云计算领域，并且更具体地，涉及一种提取机器学习任务的元数据的方法、装置及计算机可读存储介质。

背景技术

机器学习(machine learning，ML)是一门多领域的交叉学科，专门研究计算机模拟或实现人类的学习行为，以获取新的知识或者技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。

机器学习任务的工作流程可以包括环境搭建、模型训练过程以及模型推理过程。在源开发者通过上述过程训练出一个模型之后，会向其他开发者提供其训练出的模型。其他开发者想要重现该训练过程就需要完全复现源开发环境。但是，其他开发者在复现源开发环境的过程中需要花费大量的时间来搭建和调试与目标机器学习任务所兼容的训练环境，给模型的传播带来了极大的不便。

发明内容

本申请提供一种提取机器学习任务中的元数据的方法、装置，开发者可以在目标机器学习任务的训练过程中，自动提取复现一个特定的训练环境时所需要的一些相关的元数据，在其他开发者想要复现一个特定的训练环境时，可以根据存储的相关的元数据对特定的训练环境进行复现，加快了模型的传播。

第一方面，提供了一种提取机器学习任务中的元数据的方法，所述方法应用于虚拟化环境，所述方法包括：根据用户输入的机器学习程序代码在所述虚拟化环境中运行机器学习任务；从所述机器学习程序代码中提取元数据，所述元数据用于对所述机器学习任务的运行环境进行复现；将所述元数据存储在第一存储空间。

在一种可能的实现方式中，通过关键字搜索的方式，按照所述元数据的类型从所述机器学习程序代码中提取出所述元数据。

在另一种可能的实现方式中，所述虚拟化环境通过至少一个训练容器运行所述机器学习任务，所述元数据包括第一类元数据。可以按照所述第一类元数据的类型从输入的训练容器启动脚本中提取出所述第一类元数据，所述训练容器启动脚本用于启动所述至少一个训练容器。

在另一种可能的实现方式中，所述第一类元数据的类型包括以下任何一个或多个：所述机器学习任务使用的框架、所述机器学习任务使用的模型、所述机器学习任务的训练过程中使用的数据集。

在另一种可能的实现方式中，所述虚拟化环境通过至少一个训练容器运行所述机器学习任务，所述元数据包括第二类元数据。可以按照所述第二类元数据的类型从输入的训练程序代码中提取出所述元数据，所述训练程序代码存储在所述至少一个训练容器挂载的第二存储空间中，所述训练程序代码用于在所述至少一个训练容器中运行所述机器学习任务的模型训练过程。

在另一种可能的实现方式中，所述第二类元数据的类型包括以下任何一个或多个：所述机器学习任务的训练过程中使用的数据集的处理方式、所述机器学习任务的训练过程中使用的模型的结构、所述机器学习任务的训练过程中使用的训练参数。

第二方面，提供了一种提取机器学习任务中的元数据的装置，所述装置运行于虚拟化环境，所述装置包括：

运行模块，用于根据用户输入的机器学习程序代码在所述虚拟化环境中运行机器学习任务；

元数据提取模块，用于从所述机器学习程序代码中提取元数据，所述元数据用于对所述机器学习任务的运行环境进行复现；