[发明专利]基于私有云的EMR系统

说明书

本发明提供了一种基于私有云的EMR系统，其中，该系统包括：集群订购模块，用于根据用户的业务场景为用户提供集群功能；集群管理模块，用于查看用户在集群订购模块中订购的集群信息；集群监控模块，用于查看集群中的Master节点、Core节点和Task节点的详细信息以及各节点中部署的服务列表和主机监控图表；作业列表模块，用于查看集群中提交到YARN的作业列表，并按照筛选条件进行筛选；弹性伸缩模块，用于根据用户设置的弹性扩缩规则按照时间和负载两种类型进行扩容/缩容；监控告警模块，用于根据扩容/缩容结果以及用户需求提供告警策略，其中，告警策略包括平台自身告警的告警策略与服务指标告警的告警策略。由此，大大降低了用户使用大数据系统的门槛。

技术领域

本发明涉及私有云数据管理技术领域，具体涉及一种基于私有云的EMR系统。

背景技术

相关技术中，在私有云的大数据运维实践下，当用户需要使用Hadoop和Spark等大数据分布式处理系统的时候，对用户自身来说前期需要做相应的准备：选择机器类型、购买机器、准备硬件环境、安装操作系统、部署启动Hadoop和Spark等组件，但是跟用户相关的内容是编写应用程序运行作业，对于不熟悉底层大数据集群的用户来说，这些前期准备工作非常冗长繁琐而且出了问题也无法得到及时的解决。而且在特定的业务场景下比如业务高峰期，大数据Hadoop和Spark集群需要进行自动弹性扩容，而当业务高峰期过去之后，集群需要进行自动弹性缩容，为了适配这样的场景，用户需要付出更多的人力成本与时间成本，所以在私有云上无法很好地利用大数据系统进行业务操作。

发明内容

本发明为解决上述技术问题，提供了一种基于私有云的EMR系统，通过简单的页面操作实现Hadoop和Spark等大数据集群的订购与部署使用，大大降低了用户使用大数据系统的门槛。

本发明采用的技术方案如下：

一种基于私有云的EMR系统，包括：集群订购模块，所述集群订购模块用于根据用户的业务场景为用户提供集群功能，其中，集群包括Master节点、Core节点和Task节点；集群管理模块，所述集群管理模块用于查看所述用户在所述集群订购模块中订购的集群信息；集群监控模块，所述集群监控模块用于查看所述集群中的所述Master节点、所述Core节点和所述Task节点的详细信息以及各节点中部署的服务列表和主机监控图表；作业列表模块，所述作业列表模块用于查看所述集群中提交到YARN的作业列表，并按照筛选条件进行筛选；弹性伸缩模块，所述弹性伸缩模块用于根据所述用户设置的弹性扩缩规则按照时间和负载两种类型进行扩容/缩容；监控告警模块，所述监控告警模块用于根据扩容/缩容结果以及用户需求提供告警策略，其中，告警策略包括平台自身告警的告警策略与服务指标告警的告警策略。

所述集群订购模块具体用于：接收所述用户发送的前端请求，并根据所述用户指定的节点配置申请主机节点，以及在所述主机节点申请成功后通过SSH的方式在所述主机节点安装管控Agent，并在所述管控Agent安装成功后根据所述用户选择的需要部署的服务按照对应的依赖顺序依次将服务部署到对应的主机节点上，以及在所述服务部署完成后自动启动并定时上报健康状态到相应的服务端。

所述集群监控模块具体用于：创建部署监控组件，并采用所述监控组件动态注册集群监控路由，其中，当存在集群新增时，将新增路由添加到对应zookeeper节点中。

所述作业列表模块具体用于：通过EMR前端页面并采用YARN原生Rest API的方式获取集群中提交到YARN的任务列表，其中，查询的服务节点为YARN ResourceManager中角色类型为active的节点，获取的作业数据包括作业名称、作业ID、作业类型、作业运行状态、作业最终状态、任务开始时间、任务结束时间、任务执行用户、任务分配VCore、任务分配内存、队列使用百分比与集群使用百分比。

所述弹性伸缩模块具体用于：在所述用户创建针对时间的弹性扩缩规则后，通过后端系统根据所述用户设置的时间以及最大节点数和最小节点数进行扩容/缩容，其中，在扩容/缩容失败后，原有服务正常运行。