[发明专利]一种人工智能强化学习服务平台

权利要求书

1.一种人工智能强化学习服务平台，其特征在于，结构上划分为基础设施层、应用服务层以及接口访问层，其中：

所述基础设施层，用于提供强化学习服务平台所须的网络资源、计算资源、存储资源和虚拟化服务资源，并通过虚拟化、负载均衡、容灾备份以及弹性计算技术提供云存储和云处理相关的IT 基础设施服务；

所述基础设施层采用OpenStack云计算管理平台， 并通过Python语言调用 OpenStack服务；

所述应用服务层，包括基于Project的封装和管理模块、云端开发及调试环境模块和虚拟开发环境接口模块三部分；三者自上而下为领域研究者提供各种通用或者自定义的云端研究环境；平台将强化学习研究涉及的数据、算法以及研究环境以Project的形式，封装在虚拟化容器中，为每个使用平台的用户开辟独立的试验环境；

所述接口访问层，是云服务消费者的接入层，能够让强化学习研究者自助式的管理其云计算环境；

所述云端开发及调试环境模块包括开发工具和交互工具，所述开发工具包括在线IDE、Jupyter Notebook和云主机在线Shell工具；所述交互工具包括Tensorboard、视频播放器和云端模拟器；

所述在线IDE为基于浏览器的集成式开发环境，内置了Python的语言环境，边写代码边调试预览，实时查看效果；用户通过所述在线IDE创建Project的代码程序，进行在线开发和调试操作；

所述Jupyter Notebook采用容器化部署，为用户提供交互式的强化学习编程环境；客户端部分负责笔记代码的运行、存储和输出功能，并通过markdown语法进行标记， 以JSON格式发送给容器存储，容器负责存取笔记代码和调用编译内核功能；

所述Tensorboard采用容器化部署，实现展示Tensorflow在运行过程中的计算图、各种指标随着时间的变化趋势以及训练中使用到的数据信息的功能；平台提供TensorBoard作为在训练大规模神经网络时将复杂的运算过程可视化的工具，方便用户展示训练过程中绘制的图像和网络结构；

所述视频播放器采用基于OSS服务的视频播放服务器，实现将物理引擎渲染生成的视频的点播服务；平台将算法输出的视频输出至前端集成开发环境中，供研究者分析和验证算法；

云端模拟器提供了可视化和交互功能，体现在智能体环境的渲染显示、训练损失函数曲线的展示以及基于web端的实时交互功能；

云端模拟器采用基于中间文件的协作渲染模式；中间文件的协作渲染模式通过分析物理引擎和渲染引擎运作方式，抽象物理引擎与Web渲染引擎的统一接口，设计基础文件和交互文件两种中间文件标准；所述物理引擎按照接口标准产生基础文件并推向公共节点，渲染引擎从公共节点拉取基础文件并解析渲染，感知用户操作并生成交互文件推向公共节点；物理引擎从公共节点拉取交互文件并解析模拟。

2.根据权利要求1所述的平台，其特征在于，所述基于Project的封装和管理模块主要完成Project的创建、Project复制、Project编辑、Project删除以及Project分享。

3.根据权利要求1所述的平台，其特征在于，所述虚拟开发环境接口模块包括工具后台管理接口、虚拟机服务心跳接口和数据同步接口。

4.根据权利要求1所述的平台，其特征在于，所述接口访问层的应用包括用户注册模块、用户登录模块以及用户认证模块。

5.根据权利要求1所述的平台，其特征在于，所述应用服务层还包括：

Web后台模块，其包括后端框架、Web服务器、数据库和Web渲染引擎接口；

Web前端模块，其包括前端框架和前端UI，前端编程采用bootstrap、jquery和ajax技术；

数据库模块，采用mysql，Redis。

6.根据权利要求1所述的平台，其特征在于，还包括后台管理模块，后台管理模块包括用户管理、机时管理、权限管理、OSS服务管理、安全管理和日志管理。