[发明专利]一种AI元数据的综合处理方法和系统

权利要求书

1.一种AI元数据的综合处理方法，其特征在于，包括：

S1，监听并收集预设任务运行过程的元数据，其中，所述元数据包括：所述预设任务在运行过程中的任一步骤的产出物、所述预设任务在运行过程中的任一步骤的子任务和所述预设任务的数据，所述元数据还包括：所述产出物与所述子任务的依赖关系；

S2，记录所述预设任务运行过程的元数据的运行状态；

S3，将采集到的包括运行状态的元数据进行实例化处理并存储到对应保存所述预设任务的数据库中。

2.根据权利要求1所述的一种AI元数据的综合处理方法，其特征在于，所述S1具体包括：

根据已创建的不同类型的预设任务；

根据预设任务的类型、用户使用的创建平台和通过解析所述任务获得的辅助信息来建立不同的元数据收集器；

通过已经建立的所述元数据收集器监听并收集预设任务运行过程的元数据。

3.根据权利要求1或2所述的一种AI元数据的综合处理方法，其特征在于，所述S2具体包括：当所述预设任务为计算任务时，创建任务资源，通过所述任务资源记录所述计算任务的运行状态；

当所述预设任务为流水线任务时，创建流水线任务资源，通过所述流水线任务资源记录流水线的运行状态。

4.根据权利要求1所述的一种AI元数据的综合处理方法，其特征在于，所述S3还具体包括：

当所述预设任务为流水线任务时，当所述流水线任务运行完成，解析所述流水线任务的当前元数据的识别标志，根据所述识别标志判断当前元数据是否为已经创建实例，如果没有，则创建所述当前元数据的实例，并保存到所述流水线任务对应的数据库中。

5.根据权利要求1或2或4所述的一种AI元数据的综合处理方法，其特征在于，所述方法还包括：

响应前端平台的可视化请求，从所述数据库中获取所述预设任务的元数据；

根据所述元数据类型创建对应的可视化资源，通过所述可视化资源创建所述预设任务的元数据的可视化页面，将所述可视化页面的链接返回给前端平台；

前端平台对所述可视化页面进行显示。

6.一种AI元数据的综合处理系统，其特征在于，包括：元数据收集器，记录模块和实例化模块；

所述元数据收集器用于监听并收集预设任务运行过程的元数据，其中，所述元数据包括：所述预设任务在运行过程中的任一步骤的产出物、所述预设任务在运行过程中的任一步骤的子任务和所述预设任务的数据，所述元数据还包括：所述产出物与所述子任务的依赖关系；

所述记录模块用于记录所述预设任务运行过程的元数据的运行状态；

所述实例化模块用于将采集到的包括运行状态的元数据进行实例化处理并存储到对应保存所述预设任务的数据库中。

7.根据权利要求6所述的一种AI元数据的综合处理系统，其特征在于，所述元数据收集器具体用于根据已创建的不同类型的预设任务；

根据预设任务的类型、用户使用的创建平台和通过解析所述任务获得的辅助信息来建立不同的元数据收集器；

通过已经建立的所述元数据收集器监听并收集预设任务运行过程的元数据。

8.根据权利要求6或7所述的一种AI元数据的综合处理系统，其特征在于，所述记录模块具体用于当所述预设任务为计算任务时，创建任务资源，通过所述任务资源记录所述计算任务的运行状态；

当所述预设任务为流水线任务时，创建流水线任务资源，通过所述流水线任务资源记录流水线的运行状态。

9.根据权利要求6所述的一种AI元数据的综合处理系统，其特征在于，所述实例化模块还用于当所述预设任务为流水线任务时，当所述流水线任务运行完成，解析所述流水线任务的当前元数据的识别标志，根据所述识别标志判断当前元数据是否为已经创建实例，如果没有，则创建所述当前元数据的实例，并保存到所述流水线任务对应的数据库中。

10.根据权利要求6或7或9所述的一种AI元数据的综合处理系统，其特征在于，所述系统还包括：可视化模块，用于响应前端平台的可视化请求，从所述数据库中获取所述预设任务的元数据；

根据所述元数据类型创建对应的可视化资源，通过所述可视化资源创建所述预设任务的元数据的可视化页面，将所述可视化页面的链接返回给前端平台；

前端平台对所述可视化页面进行显示。