[发明专利]大数据平台实时监控方法、装置、介质及电子设备

说明书

本申请是关于一种大数据平台实时监控方法、装置、介质及电子设备，属于平台监控技术领域，该方法包括：采集大数据平台的性能相关数据及队列资源信息；将所述性能相关数据转化为第一规则数据，并将所述队列资源信息转化为第二规则数据；将所述第一规则数据及所述第二规则数据进行数据融合；提取所述多类融合数据中具有指标关联关系的多个类的融合数据，并计算与所述指标关联关系对应的平台监控指标的平台调度情况分数；当所述平台调度情况分数低于预定阈值时，利用所述平台监控指标关联的性能相关数据及队列资源信息分析所述大数据平台的调度瓶颈。本申请有效提升大数据平台监控的可靠性。

技术领域

本申请涉及平台监控技术领域，具体而言，涉及一种大数据平台实时监控方法、装置、介质及电子设备。

背景技术

随着大数据的普及，各个公司的自有大数据平台往往都有很大的数据存量以及日增量，大数据平台的可用率的重要性不言而喻。在一些重要的应用上，大数据平台的可用率甚至是100％可用率，也就意味着大数据平台要随时都是可访问的。进而，对这些大数据平台的监控尤为重要。

目前在进行大数据平台监控时，通常通过对平台的各个监控数据与一阈值进行比较，实现异常监控，当监测到异常数据时，进行告警。这样存在大数据平台监控时，监控数据过于离散化，异常告警频繁，使得大数据平台监控可靠性较低。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本申请的目的在于提供一种大数据平台实时监控方案，进而至少在一定程度上提升大数据平台实时监控可靠性。

根据本申请的一个方面，提供一种大数据平台实时监控方法，包括：

采集大数据平台的性能相关数据及队列资源信息；

将所述性能相关数据转化为第一规则数据，并将所述队列资源信息转化为第二规则数据，所述第一规则数据与所述第二规则数据是预定格式的数据；

将所述第一规则数据及所述第二规则数据进行数据融合，得到多类融合数据；

提取所述多类融合数据中具有指标关联关系的多个类的融合数据，并计算与所述指标关联关系对应的平台监控指标的平台调度情况分数；

当所述平台调度情况分数低于预定阈值时，利用所述平台监控指标关联的性能相关数据及队列资源信息分析所述大数据平台的调度瓶颈。

在本申请的一种示例性实施例中，将所述性能相关数据转化为第一规则数据，并将所述队列资源信息转化为第二规则数据，包括：

将所述性能相关数据中每个数据中的字段进行字段拼接得到拼接数据后，将所述拼接数据归一化为所述第一规则数据；

将所述队列资源信息与预定阈值比较得到比较结果后，将所述比较结果归一化为所述第二规则数据。

在本申请的一种示例性实施例中，将所述第一规则数据及所述第二规则数据进行数据融合，得到多类融合数据，包括：

获取所述大数据平台的预设数据融合策略，所述预设融合策略包括多个数据之间的关联关系；

基于所述关联关系将所述第一规则数据及所述第二规则数据中的数据进行融合，得到多类融合数据。

在本申请的一种示例性实施例中，基于所述关联关系将所述第一规则数据及所述第二规则数据中的数据进行融合，包括：

所述第一规则数据及所述第二规则数据中获取对应于同一个关联关系的所有数据；

基于所述同一个关联关系对应的预设融合算法，将所述对应于同一个关联关系的所有数据融合为融合数据。