[发明专利]一种AI元数据的综合处理方法和系统

说明书

本发明公开了一种AI元数据的综合处理方法和系统，涉及机器学习领域。该方法包括：监听并收集预设任务运行过程的元数据，记录预设任务运行过程的元数据的运行状态，将采集到的包括运行状态的元数据进行实例化处理并存储到对应保存预设任务的数据库中，使得AI平台中的各种计算任务和产出物得到了有效管理，实现了AI计算过程中元数据的自动化收集，持久化存储；并且支持各种大规模分布式集群和各种AI计算过程，实现了便于理解复杂计算的过程和计算性质，并且达到追踪和管理这些复杂计算过程的重要数据。

技术领域

本发明涉及机器学习领域，尤其涉及一种AI元数据的综合处理方法和系统。

背景技术

在一个复杂的智能计算过程中包括：这些计算本身、其产生的数字智能资产和这些计算的环境，都可以用元数据Metadata来进行描述。例如一个计算任务的输入、输出、以及计算本身的相关参数。利用这些元数据，例如：中介数据、中继数据，为描述数据的数据(data about data)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能，经过进一步的处理和分析，就可以实现理解复杂计算的过程和性质，并且达到追踪和管理这些重要的数据智能数字资产的产生，源流，使用等重要功能。

现有的一些初步技术方案是一些非系统化的、特定目的的，针对一个特定计算平台，例如Google的Kubeflow/TFX的不透明方法，不具有通用性和扩展性，现有技术中并没有系统化的解决该问题的技术方案。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种AI元数据的综合处理方法和系统。

本发明解决上述技术问题的技术方案如下：

一种AI元数据的综合处理方法，包括：S1，监听并收集预设任务运行过程的元数据，其中，所述元数据包括：所述预设任务在运行过程中的任一步骤的产出物、所述预设任务在运行过程中的任一步骤的子任务和所述预设任务的数据，所述元数据还包括：所述产出物与所述子任务的依赖关系；

S2，记录所述预设任务运行过程的元数据的运行状态；

S3，将采集到的包括运行状态的元数据进行实例化处理并存储到对应保存所述预设任务的数据库中。

本发明的有益效果是：本方案通过对元数据的综合处理，使得AI平台中的各种计算任务和产出物得到了有效管理，实现了AI计算过程中元数据的自动化收集，持久化存储；并且支持各种大规模分布式集群和各种AI计算过程，实现了便于理解复杂计算的过程和计算性质，并且达到追踪和管理这些复杂计算过程的重要数据。通过本方案对用户的侵入性小，由于本方案中的元数据收集器处在第三方的视角通过侧面观察获取所有资源的状态和信息，能够自动化、智能化地发现这些计算任务和产出物，而收集过程仅要求用户在原有代码的基础上添加必要的辅助信息。

解决了现有技术方案中使用特定语言收集和解析元数据，但对用户提出了更高的要求，将用户限制在特定的平台和语言上，使得用户的负担较重，对用户代码的侵入性较大，学习成本和迁移成本较高的问题。

进一步地，所述S1具体包括：

根据已创建的不同类型的预设任务；

根据预设任务的类型、用户的使用的创建平台和通过解析所述任务获得的辅助信息来建立不同的元数据收集器；

通过已经建立的所述元数据收集器监听并收集预设任务运行过程的元数据。

采用上述进一步方案的有益效果是：本方案通过根据不同类型的预设任务、创建平台的类型和通过解析所述任务获得的辅助信息来建立不同的元数据收集器；通过元数据收集器的设计，使得本方案可以收集不同来源的元数据，也可以方便地根据用户需求创建对应的元数据收集器。