[发明专利]Hadoop awr自动负载分析信息库、分析方法及存储介质

权利要求书

1.一种Hadoop awr自动负载分析信息库，所述信息库包括数据采集模块、计算模块、Awr报表信息库，各模块通过网络连接，其中：

所述数据采集模块用于采集Hadoop大数据集群的信息送到所述计算模块；

所述计算模块用于根据客户端选择的计算模式，采用相应的算法进行相关指标的聚合、分类计算，将计算结果送到Awr报表信息库；

所述Awr报表信息库提供信息给运维人员对集群硬件和软件进行调优。

2.根据权利要求1所述的Hadoop awr自动负载分析信息库，其特征在于，其中：

所述数据采集模块包括Hive查询引擎、Mapreduce计算引擎、Spark计算引擎、Other查询引擎，所述各单元通过网络连接到所述计算模块，其中：

所述Hive查询引擎用于对大数据集群的sql进行查询并解析成计算任务送到所述计算模块；

所述Mapreduce计算引擎用于对大数据集群的计算节点进行分配和调度，解析成计算任务送到所述计算模块；

所述Spark计算引擎用于对大数据集群的内存单元的数据分成小的时间片断解析成计算任务送到所述计算模块；

所述Other查询引擎用于对大数据集群的其他未分类指标解析成计算任务送到所述计算模块。

所述计算模块包括模式解析单元、输入单元、计算单元、输出单元，所述各单元网络连接，其中；

所述模式解析单元用于解析客户端选择的计算模式，用对应的计算模式进行数据的填充，将计算模式和数据送到所述输入单元；

所述输入单元用于对从所述数据进行格式化、解析、过滤和封装处理，将计算模式和处理过的数据送到所述计算单元；

所述计算单元用于接收所述计算模式和输入单元封装的数据，进行相关指标的聚合，分类计算，将计算结果送到所述输出单元；

所述输出单元用于对所述计算单元提供的计算结果进行格式化、封装，选择对应的输出报表模式输出到所述awr报表信息库。

3.根据权利要求2所述的Hadoop awr自动负载分析信息库，其特征在于，所述模式解析单元解析的所述计算模式包括单机计算模式、集群计算模式、Mapreduce计算模式，其中；

所述单机计算模式用于数据量少的集群，提供非分布式算法送到所述输入单元；

所述集群计算模式用于Yarn集群，提供Mapreduce、Spark等分布式算法送到所述输入单元；

所述Mapreduce计算模式用于Hadoop 1.x版本集群，提供Mapreduce分布式算法送到所述输入单元。

4.根据权利要求2所述的Hadoop awr自动负载分析信息库，其特征在于，所述输入单元包括输入格式化单元、解析单元、过滤单元、打包单元，其中：

所述输入格式化单元用于对来自所述模式解析单元的数据进行格式化后送到所述解析单元；

所述解析单元用于对来自所述输入格式化单元的数据进行数据解析后送到所述过滤单元；

所述过滤单元用于对来自所述解析单元的数据进行数据过滤后送到打包单元；

所述打包单元用于对来自所述过滤单元的数据进行打包后送到所述计算单元。

5.根据权利要求2所述的Hadoop awr自动负载分析信息库，其特征在于，所述计算单元包括全局统计单元、机架统计单元、主机统计单元、时间统计单元，所述各统计单元接收所述输入单元的计算模式和数据进行统计计算后，计算结果送到所述输出单元，其中；

所述全局统计单元用于对大数据集群进行全局纬度的统计计算；

所述机架统计单元用于对大数据集群进行机架纬度的统计计算；

所述主机统计单元用于对大数据集群进行主机纬度的统计计算；

所述时间统计单元用于对大数据集群进行时间维度的统计计算。