[发明专利]基于私有云的EMR系统

权利要求书

1.一种基于私有云的EMR系统，其特征在于，包括：

集群订购模块，所述集群订购模块用于根据用户的业务场景为用户提供集群功能，其中，集群包括Master节点、Core节点和Task节点；

集群管理模块，所述集群管理模块用于查看所述用户在所述集群订购模块中订购的集群信息；

集群监控模块，所述集群监控模块用于查看所述集群中的所述Master节点、所述Core节点和所述Task节点的详细信息以及各节点中部署的服务列表和主机监控图表；

作业列表模块，所述作业列表模块用于查看所述集群中提交到YARN的作业列表，并按照筛选条件进行筛选；

弹性伸缩模块，所述弹性伸缩模块用于根据所述用户设置的弹性扩缩规则按照时间和负载两种类型进行扩容/缩容；

监控告警模块，所述监控告警模块用于根据扩容/缩容结果以及用户需求提供告警策略，其中，告警策略包括平台自身告警的告警策略与服务指标告警的告警策略。

2.根据权利要求1所述的基于私有云的EMR系统，其特征在于，所述集群订购模块具体用于：

接收所述用户发送的前端请求，并根据所述用户指定的节点配置申请主机节点，以及在所述主机节点申请成功后通过SSH的方式在所述主机节点安装管控Agent，并在所述管控Agent安装成功后根据所述用户选择的需要部署的服务按照对应的依赖顺序依次将服务部署到对应的主机节点上，以及在所述服务部署完成后自动启动并定时上报健康状态到相应的服务端。

3.根据权利要求1所述的基于私有云的EMR系统，其特征在于，所述集群监控模块具体用于：

创建部署监控组件，并采用所述监控组件动态注册集群监控路由，其中，当存在集群新增时，将新增路由添加到对应zookeeper节点中。

4.根据权利要求1所述的基于私有云的EMR系统，其特征在于，所述作业列表模块具体用于：

通过EMR前端页面并采用YARN原生Rest API的方式获取集群中提交到YARN的任务列表，其中，查询的服务节点为YARN ResourceManager中角色类型为active的节点，获取的作业数据包括作业名称、作业ID、作业类型、作业运行状态、作业最终状态、任务开始时间、任务结束时间、任务执行用户、任务分配VCore、任务分配内存、队列使用百分比与集群使用百分比。

5.根据权利要求1所述的基于私有云的EMR系统，其特征在于，所述弹性伸缩模块具体用于：

在所述用户创建针对时间的弹性扩缩规则后，通过后端系统根据所述用户设置的时间以及最大节点数和最小节点数进行扩容/缩容，其中，在扩容/缩容失败后，原有服务正常运行。

6.根据权利要求5所述的基于私有云的EMR系统，其特征在于，所述弹性伸缩模块具体还用于：

在所述用户创建针对负载的弹性扩缩规则后，通过所述后端系统将所述用户设置的负载值与当前时刻所述集群的服务负载进行比较，并在当前时刻所述集群的服务负载大于所述用户设定的负载值时进行扩容，以及在当前时刻所述集群的服务负载小于所述用户设定的负载值时进行缩容。