[发明专利]一种跨平台的大数据资源管理系统及方法

说明书

本发明提供一种跨平台的大数据资源管理系统及方法，其中方法包括：应用接口模块，用于接收应用系统发送的资源请求，在判断资资源请求合法时，将资源请求发送至资源管理模块；资源管理模块，用于根据资源请求的类型选择接收资源请求的资源管理子模板，并将资源请求发送至集群接口模块；集群接口模块，用于根据资源请求的类型将资源请求转发至对应的Hadoop集群，并将资源请求发送至资源监控模块。本发明集中统一的管理了Hadoop集群或其他开源软件的资源，提升了资源管理的工作效率，降低了同时管理多个集群的运营成本；实现用户、租户等信息的可视化管理，简化了Hadoop集群或其他开源软件资源管理的操作步骤，降低了手工执行命令带来的误操作风险。

技术领域

本发明涉及信息管理系统技术领域，特别是涉及一种跨平台的大数据资源管理系统及方法。

背景技术

目前，大部分大数据平台Hadoop(分布式系统基础架构)集群的资源是基于YARN(Hadoop的资源管理系统)的租户进行管理的，开源的Hadoop产品需要手工修改配置文件管理租户，华为和 Cloudera等公司的商用Hadoop产品可以通过页面化的配置工具管理租户。出于管理方式或业务场景等不同目的的需要，一个组织通常会选择多种Hadoop产品，并且部署多个Hadoop集群。

由于每个集群的资源都是独立进行管理的，不同Hadoop产品资源管理的操作步骤不同，同一Hadoop产品的不同集群资源配置内容不同。另外，大部分组织除了使用Hadoop集群外，还会使用到诸如 Elasticsearch、Redis、SBD等软件，这些软件往往没有纳入到商用的大数据产品中，无法集中管理这些软件的资源。当管理的集群数量达到一定规模时，多个集群的资源管理工作就会变得非常复杂和繁琐，而且容易出错，极大的影响工作效率。

发明内容

本发明提供一种跨平台的大数据资源管理系统及方法，兼容不同的Hadoop产品和其他开源软件，同时管理多个集群的资源，通过页面化的操作，直观的管理多个集群的资源，提高工作效率，降低集群资源管理成本。

本发明一个实施例提供一种跨平台的大数据资源管理系统，包括：应用系统接口模块、资源管理模块、资源监控模块、集群接口模块、数据存储模块；其中；

所述应用系统接口模块，用于接收应用系统发送的资源请求，在判断资所述资源请求合法时，将所述资源请求发送至所述资源管理模块；其中，所述资源请求包括：新增租户请求、数据目录或数据库表授权请求、新增集群用户请求、新增集群请求；

所述资源管理模块，用于根据所述资源请求的类型选择接收所述资源请求的资源管理子模板，并将所述资源请求发送至集群接口模块；其中，所述资源管理子模板包括：租户管理子模板、授权管理子模板、用户管理子模板、集群管理子模板；

所述集群接口模块，用于根据所述资源请求的类型将所述资源请求转发至对应的Hadoop集群，并将所述资源请求发送至资源监控模块；

所述资源监控模块，用于在预设时间内根据所述资源请求的类型选择资源监控子模块以获取所述Hadoop集群的使用数据，并将所述 Hadoop集群的使用数据发送至所述数据存储模块中进行存储；其中，所述资源监控子模块包括：集群监控子模块、租户监控子模块、应用监控子模块、库表监控子模块；

所述数据存储模块，用于存储所述Hadoop集群的使用数据。

进一步地，所述的一种跨平台的大数据资源管理系统，还包括：规则引擎模块，用于提供资源请求合法性判断规则给所述应用接口模块，以判断资所述源请求合法性；还用于提供资源请求的类型判断规则给所述资源管理模块和资源监控模块，以判断所述资源请求的类型。

进一步地，所述租户管理子模板，用于接收所述新增租户请求，在租户管理中增加租户的配置信息；