[发明专利]基于云环境的交互式模型开发环境系统和方法

说明书

本发明提供一种基于云环境的交互式模型开发环境系统，包括交互式模型开发环境创建，交互式模型开发环境使用，交互式模型开发环境删除，基于HDFS和Spark计算架构，通过IPython交互式编程界面，完成开发环境的搭建。使用Swift作为数据管理和存储的文件系统，极大提高存储的效率。提供选择Python或者R来创建大数据开发云环境，自动为用户创建大数据集群并完成相关配置，最终呈现给用户的是一个IPython的交互式编程界面，当用户完成了大数据业务的程序开发，执行后可以将计算结果返回给用户。用户不需要关心大数据集群复杂的调度、优化、配置等细节，极大地简化大数据服务的利用难度，缩短开发周期。

技术领域

本发明涉及云计算和大数据分析领域，具体地，涉及一种基于云环境的交互式模型开发环境系统和方法。

背景技术

交互式模型开发环境系统为用户提供基于Web界面的交互式大数据分析开发体验；多个用户共享一个大数据集群，更有效的在开发环境提高资源利用率；提供大数据集群与对象存储的数据同步能力，同时满足数据的持久存储需求和数据在集群上的分布存储需求。由于交互式模型开发环境为多用户提供开发前端、使用共享大数据集群运行分析任务，因此每个租户只能创建一个开发环境。租户的开发环境一旦创建，租户内的用户就可以通过自服务的方式创建Web前端和Driver完成开发。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于云环境的交互式模型开发环境系统。

根据本发明提供的一种基于云环境的交互式模型开发环境系统，包括

创建开发环境模块：接收使用者提出的创建申请，通过命令创建开发环境，开发环境创建完成之后，发送开发环境的访问信息至使用者；

使用开发环境模块：接受使用者的登录，接受使用者将数据上传至对象存储，实现数据在对象存储与分布式文件之间的同步，提供使用者新建和编写模型程序、运行程序。

优选地，所述的基于云环境的交互式模型开发环境系统，还包括删除开发环境模块：接收使用者提出的删除申请，对开发环境进行删除，对对象存储中的数据不进行删除，允许使用者访问对象存储中的数据。

优选地，所述使用开发环境模块包括：

创建对象容器模块：创建对象容器，对对象容器进行初始化；

上传待分析数据模块：接收数据的上传，所述数据存储在对象存储组件中；

同步数据模块：提供数据从对象存储组件中同步到大数据集群的HDFS中；

启动容器模块：接受使用者对前台开发界面的创建，对前台开发界面对应的容器进行启动；

编译程序模块：接受使用者在前台开发界面中进行程序编写与运行，将程序保存并提交至大数据集群进行运行，运行结果能够保存在大数据集群的HDFS或Hive中；

查看运行结果模块：接受使用者在前台开发界面中查看运行结果。

根据本发明提供的一种基于云环境的交互式模型开发环境方法，包括：

创建开发环境步骤：接收使用者提出的创建申请，通过命令创建开发环境，开发环境创建完成之后，发送开发环境的访问信息至使用者；

使用开发环境步骤：接受使用者的登录，接受使用者将数据上传至对象存储，实现数据在对象存储与分布式文件之间的同步，提供使用者新建和编写模型程序、运行程序。

优选地，所述的基于云环境的交互式模型开发环境方法，还包括删除开发环境步骤：接收使用者提出的删除申请，对开发环境进行删除，对对象存储中的数据不进行删除，允许使用者访问对象存储中的数据。

优选地，所述使用开发环境步骤包括：