[发明专利]一种大数据集群管理系统

说明书

本发明提供一种大数据集群管理系统，包括管理中心、单集群管理系统和主机，所述管理中心用于接收用户输入的集群控制命令，基于预设的集群列表将所述集群控制命令生成所述单集群管理系统对应的一级子命令，并将所述一级子命令发送至对应的所述单集群管理系统；所述单集群管理系统用于接收所述一级子命令，基于预设的主机列表将所述一级子命令生成对应所述主机的二级子命令，并将所述二级子命令发送至对应的所述主机，还用于将第一采集数据发送至所述管理中心；所述主机用于基于所述二级子命令执行任务并生成第二采集数据，将所述第二采集数据合并生成所述第一采集数据并发送至所述单集群管理系统。本发明通过管理中心连接多个单集群管理系统，实现了对多集群的管理，降低运维成本，使集群间的数据互通更快捷。

技术领域

本发明实施例涉及大数据领域，尤其涉及一种大数据集群管理系统。

背景技术

随着大数据产业发展，公司大数据业务的快速发展和市场的拓展，公司管理的大数据的集群越来越多，往往都是分开独立管理的，集群之间也是封闭的，每个集群都有自己的数据存储、数据处理和作业提交的系统，每个集群也需要单独升级，版本需要分开开发和维护。

现有的方式是多个集群分开管理，导致多个集群之间指标的查看对比非常困难，当出现需要增加或减少集群数量、修改服务配置，提高了运维成本，导致效率降低。

发明内容

本发明提供了一种大数据集群管理系统，通过使用管理中心连接多个单集群管理系统的系统，实现了对多集群的综合管理，降低运维成本，使集群间的数据互通更快捷。

第一方面，本发明提供一种大数据集群管理系统，包括管理中心、单集群管理系统和主机，所述管理中心与一个或多个单集群管理系统对接，每个所述单集群管理系统与一个或多个主机对接；

所述管理中心用于接收用户输入的集群控制命令，基于预设的集群列表将所述集群控制命令生成所述单集群管理系统对应的一级子命令，并将所述一级子命令发送至对应的所述单集群管理系统；

所述单集群管理系统用于接收所述一级子命令，基于预设的主机列表将所述一级子命令生成对应所述主机的二级子命令，并将所述二级子命令发送至对应的所述主机，还用于将第一采集数据发送至所述管理中心；

所述主机用于基于所述二级子命令执行任务并生成第二采集数据，将所述第二采集数据合并生成所述第一采集数据并发送至所述单集群管理系统。

进一步地，所述管理中心包括第一REST API模块、Master模块、ClusterInterface模块，

所述第一REST API模块用于接收用户输入的集群控制命令；

所述Master模块用于基于预设的集群列表将所述集群控制命令生成一个或多个一级子命令；

所述Cluster Interface模块用于将所述一级子命令发送至所述单集群管理系统，并获取所述一个或多个所述单集群管理系统上报的第一采集数据。

进一步地，所述管理中心还包括第一Database模块，用于存储所述第一采集数据。

进一步地，所述第一Database模块包括集群列表、第一服务信息表和/或基础配置列表；

所述集群列表用于存储所述大数据集群管理系统的一个或多个单集群管理系统的基本信息，所述第一服务信息表用于存储单集群管理系统的服务参数，所诉基础配置列表用于存储所述单集群管理系统的服务配置参数。

进一步地，所述单集群管理系统包括第二REST API模块、Core模块和AgentInterface模块，

所述第二REST API模块用于从第一REST API模块获取所述一级子命令；