[发明专利]一种人工智能强化学习服务平台

说明书

本发明涉及一种人工智能强化学习服务平台，从结构上划分为基础设施层、应用服务层以及接口访问层，基础设施层提供强化学习服务平台所须的网络资源、计算资源、存储资源和虚拟化服务资源，并通过虚拟化、负载均衡、容灾备份以及弹性计算技术提供云存储、云处理相关的IT基础设施服务；应用服务层包括基于Project的封装和管理模块、云端开发及调试环境模块、虚拟开发环境接口模块三部分；三者自上而下为领域研究者提供各种通用或者自定义的云端研究环境；平台将强化学习研究涉及的数据、算法以及研究环境以Project的形式，封装在虚拟化容器中，为每个使用平台的用户开辟独立的试验环境；接口访问层能够让强化学习研究者自助式的管理其云计算环境。

技术领域

本发明涉及前强化学习开发平台技术，特别涉及一种人工智能强化学习服务平台。

背景技术

机器学习是以研究模拟人类学习行为，在获取知识后经过学习产生新的知识为研究目标，是人工智能的核心问题之一。基于数据的机器学习是现代智能技术中的重要方法之一，研究从观测数据(样本)出发寻找规律获取知识，利用这些规律与知识，通过一定的学习模式对未来数据或无法观测的数据进行预测。机器学习根据学习模式可以分类为监督学习、无监督学习和强化学习等。强化学习的目标是学习从环境状态到行为的映射，使得智能体选择的行为能够获得环境最大的奖赏，使得外部环境对学习系统在某种意义下的评价为最佳。

近年来，强化学习已经广泛应用于工业制造、仿真模拟、机器人控制、优化与调度、游戏博弈、机器视觉等领域，并被认为是迈向通用人工智能的重要途径。但是，由于强化学习任务难度不一，任务种类难以统一集成，结果难以复现，缺少标准化环境，各研究机构纷纷推出了自己的强化学习环境。OpenAI在2016年推出了OpenAI Gym环境，旨在发展和对比不同的强化学习算法，并经过几年的发展逐渐纳入了一系列Atari游戏、经典控制、机器人控制、文字游戏等难易不同的强化学习环境；DeepMind在2018年和2019年分别发布了面向机器人控制领域的DeepMind Control Suite强化学习环境和面向博弈游戏领域的OpenSpiel强化学习环境等。虽然这些环境一定程度上在特定领域提供了标准化研究环境，但基于这些强化学习环境做开发和研究还面临着以下几个问题：训练强化学习算法需要大量计算资源，缺少可以调用大规模集群的一站式的科研环境；部署相应的强化学习开发环境耗费大量时间，由于软件版本、超参等不同，算法复现难度较大；服务器端缺少可视化的开发工具，无法实时观测到强化学习智能体环境模拟，难以快速开发和验证代码。

发明内容

本发明目的在于，提供一站式的强化学习开发平台，为快速复现、开发人工智能算法提供可视化工具，并配备数据、项目管理模块，从而促进建成强化学习统一标准化科研环境。

为实现上述目的，本发明提供了一种人工智能强化学习服务平台，该平台从结构上划分为基础设施层、应用服务层以及接口访问层，其中：

基础设施层用于提供强化学习服务平台所须的网络资源、计算资源、存储资源和虚拟化服务资源，并通过虚拟化、负载均衡、容灾备份以及弹性计算技术提供云存储、云处理相关的IT基础设施服务。

应用服务层，包括基于Project的封装和管理模块、云端开发及调试环境模块、虚拟开发环境接口模块三部分；三者自上而下为领域研究者提供各种通用或者自定义的云端研究环境；平台将强化学习研究涉及的数据、算法以及研究环境以Project的形式，封装在虚拟化容器中，为每个使用平台的用户开辟独立的试验环境。

接口访问层，是云服务消费者的接入层，能够让强化学习研究者自助式的管理其云计算环境。

进行一步地，基于Project的封装和管理模块主要完成Project的创建、Project复制、Project编辑、Project删除以及Project分享。