[发明专利]一种人工智能能力开发平台

说明书

本发明公开了一种人工智能能力开发平台，包括硬件层、系统层、数据层、资源管理调度模块、框架层和模型管理模块；所述硬件层包括CPU、GPU和存储器，所述CPU与存储器电性连接，所述GPU用于进行高性能并行运算；所述系统层支持Linux操作系统，所述数据层中的数据文件采用并行文件系统和云对象存储系统来进行存储管理；所述资源管理调度模块用于对计算节点进行管理和调度；所述框架层内置集成有多种深度学习开源框架；所述模型管理模块用于对模型训练、生成和结果进行监控管理。本发明的人工智能能力开发平台通过设置多种深度学习开源框架以支持多种类型人工智能应用落地，降低用户自己进行开源产品的维护成本和使用的复杂度。

技术领域

本发明涉及一种人工智能技术领域，尤其涉及一种人工智能能力开发平台。

背景技术

目前，云计算、大数据的成熟催化了人工智能(AI)的进步与飞速发展，使得机器能够在很大程度上模拟人的功能，实现批量人性化和个性化的服务客户。随着AI的不断发展，各式各样的开源框架的诞生，对于企业如何管理机器的资源和AI开源框架成为本领域技术人员亟待解决的技术问题。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种人工智能能力开发平台，以降低开源产品维护成本以及缩短模型训练时间。

本发明的目的采用如下技术方案实现：

一种人工智能能力开发平台，包括硬件层、系统层、数据层、资源管理调度模块、框架层和模型管理模块；所述硬件层包括CPU、GPU和存储器，所述CPU与存储器电性连接，所述GPU用于进行高性能并行运算；所述系统层支持Linux操作系统，所述数据层中的数据文件采用并行文件系统和云对象存储系统来进行存储管理；所述资源管理调度模块用于对CPU、GPU和计算节点进行管理和调度；所述框架层内置集成有多种深度学习开源框架；所述模型管理模块用于对模型训练、生成和结果进行监控管理。

进一步地，所述linux操作系统包括Redhat系统和Ubuntu系统。

进一步地，多种深度学习开源框架包括Tensorflow、PyTorch、Keras和Caffe。

进一步地，所述平台还包括模型发布模块，所述模型发布模块用于将训练完成的人工智能模型发布为方便调用的人工智能推理服务以供其他应用系统调用。

进一步地，其他应用系统可通过Restful或者Stream或者gRPC中一种API接口调用形式以使用人工智能能力开发平台发布的AI推理服务。

进一步地，所述模型管理模块用于提供全图形界面操作，所述全图形界面操作包括深度学习项目所需的数据预处理、模型导入和管理、模型训练、超参搜索、训练过程可视化和模型的验证。

进一步地，所述超参搜索中主要通过随机搜索、树结构的帕森窗估计法和基于Gaussian Process的贝叶斯优化中的一种来实现超参优化。

进一步地，所述数据层集成了Apache Spark，其用以简化转换非结构化和结构化数据集的过程。

进一步地，在框架层采用分布式深度学习框架，所述分布式深度学习框架利用多环动态网络技术来提高并行训练的加速比。

进一步地，所述资源管理调度模块采用EGO资源管理框架来实现对CPU、GPU、计算节点进行管理和调度。

相比现有技术，本发明的有益效果在于：

本发明的人工智能能力开发平台通过设置多种深度学习开源框架以支持多种类型人工智能应用落地，降低用户自己进行开源产品的维护成本和使用的复杂度；且本发明的平台提供资源管理、调度及多租户管理功能，满足不同业务部门的若干人工智能应用进行统一运行和管理。

附图说明