[发明专利]大数据运维管理平台

说明书

本申请公开了一种大数据运维管理平台，包括控制节点和多个子节点，每个子节点均具有预先构建的python运维库且负责一个或多个大数据组件的运维操作。控制节点可对外提供大数据组件集群的操作方式，并向各节点发送操作指令；各个子节点根据控制节点发送的大数据组件运维操作指令调用python运维库对目标大数据组件执行相应的运维操作；其中，python运维库包括多组运维操作脚本且用于为各运维操作提供统一的应用程序编程接口，各运维操作脚本均利用pyhton语言进行封装。本申请可屏蔽不同操作系统具体运维操作方式的差异，简化了运维操作脚本编写，有利于降低系统的复杂度、开发的困难度和维护工作的复杂度。

技术领域

本申请涉及大数据技术领域，特别是涉及一种大数据运维管理平台。

背景技术

随着大数据、云计算的快速发展，大数据平台作为大数据分析工具被广泛应用于各行各业中，对大数据进行管理运维是不可避免的一个环节。

相关技术通常基于shell脚本或bat脚本对大数据组件进行自动安装部署。但是，基于shell脚本或bat脚本的自动安装部署方式在不同平台下的支持和行为有差异，在脚本编写时需要考虑不同shell的语法和兼容问题，不仅非常繁琐，而且极易发生错误。为了实现大数据管理，管理平台往往需要使用多种编程语言开发，不利于开发和团队间的配合工作，系统的复杂度和开发的困难度均较高。

发明内容

本申请提供了一种大数据运维管理平台，屏蔽了不同操作系统具体运维操作方式的差异，简化了运维操作脚本编写，有利于降低系统的复杂度、开发的困难度和维护工作的复杂度。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例提供了一种大数据运维管理平台，包括：

包括控制节点和多个子节点，每个子节点均具有预先构建的python运维库；

所述控制节点用于向外部系统提供大数据组件集群的操作方式，并向各节点发送操作指令；

各个子节点根据所述控制节点发送的大数据组件运维操作指令调用所述python运维库对目标大数据组件执行相应的运维操作；

其中，所述python运维库包括多组运维操作脚本且用于为各运维操作提供统一的应用程序编程接口，各运维操作脚本均利用pyhton语言进行封装。

可选的，所述控制节点还包括组件配置插件；

所述组件配置插件用于当接收到第一子节点的第一大数据组件的变更信息后，基于所述变更信息对所述第一大数据组件的组件配置文件进行更新，并将更新后的组件配置文件下发至所述第一子节点；

其中，所述组件配置文件包括组件名称、组件版本、组件描述、组件服务、组件服务各运维操作与运维操作脚本的对应关系。

可选的，所述控制节点包括集群状态监控模块，还包括与所述集群状态监控模块相连的告警提示模块；

所述集群状态监控模块用于按照预设频率收集并汇总各子节点的资源消耗信息；所述资源消耗信息为当前子节点反馈的心跳数据和所属大数据组件集群的集群状态信息；

所述告警提示模块用于当检测到当前子节点的资源消耗超过预设能耗阈值或是当前子节点的运行状态异常，则进行告警提示。

可选的，所述操作方式可为以下任意一项或任意组合：

表现层状态转移应用程序编程接口、web页面和命令行。

可选的，大数据运维管理平台的系统版本采用python编程语言编译，所述控制节点包括升级模块，所述升级模块用于根据升级指令中携带的更新文件列表执行系统版本升级；所述更新文件列表包括升级后系统版本中新增文件、相比升级前系统版本发生修改的替换文件和相比升级前系统版本减少的删除文件；