[发明专利]大数据平台实时监控方法、装置、介质及电子设备

权利要求书

1.一种大数据平台实时监控方法，其特征在于，包括：

采集大数据平台的性能相关数据及队列资源信息；

将所述性能相关数据转化为第一规则数据，并将所述队列资源信息转化为第二规则数据，所述第一规则数据与所述第二规则数据是预定格式的数据；

将所述第一规则数据及所述第二规则数据进行数据融合，得到多类融合数据；

提取所述多类融合数据中具有指标关联关系的多个类的融合数据，并计算与所述指标关联关系对应的平台监控指标的平台调度情况分数；

当所述平台调度情况分数低于预定阈值时，利用所述平台监控指标关联的性能相关数据及队列资源信息分析所述大数据平台的调度瓶颈。

2.根据权利要求1所述的方法，其特征在于，所述将所述性能相关数据转化为第一规则数据，并将所述队列资源信息转化为第二规则数据，包括：

将所述性能相关数据中每个数据中的字段进行字段拼接得到拼接数据后，将所述拼接数据归一化为所述第一规则数据；

将所述队列资源信息与预定阈值比较得到比较结果后，将所述比较结果归一化为所述第二规则数据。

3.根据权利要求1所述的方法，其特征在于，所述将所述第一规则数据及所述第二规则数据进行数据融合，得到多类融合数据，包括：

获取所述大数据平台的预设数据融合策略，所述预设融合策略包括多个数据之间的关联关系；

基于所述关联关系将所述第一规则数据及所述第二规则数据中的数据进行融合，得到多类融合数据。

4.根据权利要求3所述的方法，其特征在于，所述基于所述关联关系将所述第一规则数据及所述第二规则数据中的数据进行融合，包括：

所述第一规则数据及所述第二规则数据中获取对应于同一个关联关系的所有数据；

基于所述同一个关联关系对应的预设融合算法，将所述对应于同一个关联关系的所有数据融合为融合数据。

5.根据权利要求1所述的方法，其特征在于，所述提取所述多类融合数据中具有指标关联关系的多个类的融合数据，计算与所述指标关联关系对应的平台监控指标的平台调度情况分数，包括：

提取同一个指标所对应的多类类融合数据，并获取所述多类融合数据中每类融合数据的预设权重；

对所述同一个指标所对应的每类融合数据与相应的预设权重求加权和，得到与所述同一个指标对应的平台调度情况子分数，作为与所述同一个指标对应的平台监控指标的平台调度情况分数。

6.根据权利要求1所述的方法，其特征在于，所述利用所述平台监控指标关联的性能相关数据及队列资源信息分析所述大数据平台的调度瓶颈，包括：

获取所述平台监控指标对应的预先训练好的瓶颈分析模型；

将所述平台监控指标关联的性能相关数据及队列资源信息输入所述瓶颈分析模型，得到所述大数据平台的调度瓶颈信息。

7.根据权利要求1所述的方法，其特征在于，所述利用所述平台监控指标关联的性能相关数据及队列资源信息分析所述大数据平台的调度瓶颈，包括：

当所述调度瓶颈负荷预定瓶颈限值时，获取所述平台监控指标关联的性能相关数据及队列资源信息所对应的所述第一规则数据及所述第二规则数据；

利用所对应的所述第一规则数据及所述第二规则数据绘图展示。

8.一种大数据平台实时监控装置，其特征在于，包括：

采集模块，用于采集大数据平台的性能相关数据及队列资源信息；

转化模块，用于将所述性能相关数据转化为第一规则数据，并将所述队列资源信息转化为第二规则数据，所述第一规则数据与所述第二规则数据是预定格式的数据；

融合模块，用于将所述第一规则数据及所述第二规则数据进行数据融合，得到多类融合数据；

提取模块，用于提取所述多类融合数据中具有指标关联关系的多个类的融合数据，并计算与所述指标关联关系对应的平台监控指标的平台调度情况分数；

分析模块，用于当所述平台调度情况分数低于预定阈值时，利用所述平台监控指标关联的性能相关数据及队列资源信息分析所述大数据平台的调度瓶颈。