[发明专利]一种基于分片式自动学习的AI模型训练系统和方法

说明书

本发明提供了一种基于分片式自动学习的AI模型训练系统和方法，所述系统包括代码开发模块、多场景训练模块、训练任务模块、训练资源模块、训练编排模块、执行引擎、可视化训练过程监控、训练任务可视化监控门户。所述方法包括以下步骤：超参数自动调优;基于分片式计算引擎的贝叶斯自动调参;流程化的AI模型训练。本发明提供AI模型训练的多场景、可扩展、可视化、可管控、自动化和监控的方法和系统，有效降低AI模型训练的门槛，提升模型训练的易用性和便捷性，为AI模型的大规模使用提供支持。

技术领域

本发明属于大数据处理技术领域，尤其涉及一种基于分片式自动学习的AI模型训练系统和方法。

技术背景

人工智能（AI）技术是掀起下一轮互联网变革浪潮的新引擎。当前，经过了移动互联网高速发展的阶段，当下信息技术领域正遭遇着创新乏力、竞争逐步激烈等困境，基于技术发展的商业模式创新红利在消失，产业发展正遭遇天花板，亟需新一轮技术变革驱动商业模式的全面升级。人工智能作为万物互联时代最前沿的基础技术，将能够渗透至各行各业，并助力传统行业实现跨越式升级，实现全行业的重塑，成为掀起互联网颠覆性浪潮的新引擎。

电信运营商经过多年的高速发展，目前已经积累了大量的数据，其中包括行业综合数据、用户使用交互信息、用户消费数据、设备日志记录等结构化数据，以及文本、音视频、图片等非结构化数据。电信行业已无法从人口红利模式中继续获取高速发展，转而逐渐重视流量红利和数据红利。对外，AI的使用能够有效提升电信运营商的客户服务水平与市场营销效果，同时能够拓宽电信运营商的服务类型和业务范围；对内，AI 能够帮助电信运营商推进网路虚拟化和云技术，达到提高自动化水平，降低资本和运营支出的效果。

尽管AI能力的应用可以帮助电信运营商降本增效，但由于缺乏一套高效、便捷、易用的AI模型训练方法和系统，因此在实际应用的过程中会遇到以下的问题：

1)训练资源利用率低。训练模型时，模型训练人员只能根据已有的CPU、GPU、内存等物理硬件资源进行训练操作，无法根据模型训练时的资源使用状况进行动态扩展，导致模型训练效率低下；不训练模型时，已经分配给模型训练人员的资源只能闲置，不能做到充分利用。

2)训练算法使用不灵活。模型训练人员在开展训练前，需要安装不同的机器学习框架，训练过程中需要依靠经验来调整参数，训练完成之后再手动打包发布，无法实现机器学习框架的自由选择，以及自动完成模型的调参、选优、评价、发布等操作。

3)训练过程管理不友好。需要在训练服务器通过命令行的方式完成模型训练脚本的编写、模型训练任务的启动和停止、模型训练过程日志的监控、模型训练输出参数的查阅，对于模型训练人员有较高的使用门槛。

发明内容

针对以上技术问题，本发明公开了一种基于分片式自动学习的AI模型训练系统和方法,提供AI模型训练的多场景、可扩展、可视化、可管控、自动化和监控的方法和系统，有效降低AI模型训练的门槛，提升模型训练的易用性和便捷性，为AI模型的大规模使用提供支持。

为实现上述技术目的，本发明采用以下技术方案：

一种基于分片式自动学习的AI模型训练系统，包括代码开发模块、多场景训练模块、训练任务模块、训练资源模块、训练编排模块、执行引擎、可视化训练过程监控、训练任务可视化监控门户。

一种基于分片式自动学习的AI模型训练方法,包括以下步骤：

S1:超参数自动调优;

S2:基于分片式计算引擎的贝叶斯自动调参;

S3:流程化的AI模型训练。