[发明专利]适用于人工智能中台的系统和方法、可读介质

说明书

本发明提供了一种适用于人工智能中台的系统，包括：模型引擎模块：模型引擎管理模型任务，并对接异构计算资源的容器集群；模型工厂模块：提供模型开发流水线，流水线用于指引模型开发者准备模型训练与推理所需的内容，并向模型引擎模块申请执行任务；模型市场模块：与对接中台的AIBox模块协作，形成云边协同方案，帮助模型开发者在市场上线已研发完成的模型，对训练完成后的模型发布至模型市场模块进行共享和展示，或是选购他人研发模型。本发明以模型研发为核心，形成模型引擎模块、模型工厂模块和模型市场模块，实现对AI资源灵活调度与流水线式模型生产，用于支撑企业机器学习、深度学习模型研发。

技术领域

本发明涉及人工智能技术领域，具体地，涉及一种适用于人工智能中台的系统和方法、可读介质。

背景技术

目前AI模型研发即是需要进行大量的模型开发、调试、部署工作，研发任务需要灵活使用图形处理器等算力资源。同时模型研发过程复杂，简单提供工具无法很好协助非AI专业开发者完成模型训练。

经过检索，专利文献CN112347145A公开了一种AI中台系统，包括基础数据库、信息筛选模块、共享数据存储模块、特征提取模块、深度学习模块、模型数据库、结果数据库、处理器。本发明能打破“信息孤岛”，各个系统中的数据能实现共享，促进了各个系统之间的协助，数据在数据平台和业务系统之间形成了一个良性的闭环。该现有技术的不足之处在于虽提供了AI模型研发所需工作，但未能形成标准化研发流程，也不能提供充分利用中台算力资源。

专利文献CN110941421A公开了一种开发机器学习装置及其使用方法，包括：机器学习平台，其为基于华为FusionInsight HD分布式存储和并行计算技术，从海量数据中挖掘价值信息的平台；深度学习平台，其为一个企业级深度学习建模平台，能使客户算法开发人员高效管理数据集、算法代码开发、模型评估与预测服务发布体验，降低深度学习建模门槛；推理平台，其主要完成多算法统一管理与任务容器化异构资源统一调度，助力客户实现集群算力共享，降低AI系统的运维成本。该现有技术虽然借助了深度学习平台，但是仍然无法协助非AI专业开发者完成模型巡礼按，同时，未能形成标准化研发流程，也不能提供充分利用中台算力资源。

因此，亟需研发设计一种能协助AI工程师进行研发的方法和系统。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种适用于人工智能中台的系统和方法、可读介质，用于支撑企业机器学习、深度学习模型研发。

根据本发明提供的一种适用于人工智能中台的系统，包括：

模型引擎模块：模型引擎管理模型任务，并对接异构计算资源的容器集群；

模型工厂模块：提供模型开发流水线，流水线用于指引模型开发者准备模型训练与推理所需的内容，并向模型引擎模块申请执行任务；

模型市场模块：与对接中台的AIBox模块协作，形成云边协同方案。帮助模型开发者在市场上线已研发完成的模型，对训练完成后的模型发布至模型市场模块进行共享和展示，或是选购他人研发模型。

优选地，模型引擎模块包括任务类型、所需算力资源、任务依赖镜像和任务特定参数信息。

优选地，模型引擎模块通过调度机制在集群节点中选择有可用算力的主机节点，拉取任务所需镜像包并在节点上部署应用，允许模型开发者所需的模型训练和推理任务，并根据规则将磁盘挂载进入训练任务中，将任务生产的训练结果和运行日志信息进行持久化存储。

优选地，模型引擎模块对接的容器集群能将主机节点端口与容器应用端口进行映射，允许用户从外部进行访问，用以查看训练任务接口或是调用推理任务进行场景识别和预测。

优选地，模型工厂模块中在模型开发流水线上先要求模型开发者上传模型所需数据集，并根据数据类型进行标注，标注部分基于数据集类型，根据不同模型场景支持多种标注方式。