[发明专利]数据分析方法、装置、设备、存储介质及程序产品

权利要求书

1.一种数据分析方法，其特征在于，所述方法包括：

采集目标集群中各个节点的数据指标；所述数据指标包括下述至少一项：节点任务状态指标、网络流量、操作系统指标；

根据各个所述节点的数据指标，通过机器学习模型，预测得到各个所述节点的故障概率；

根据预测的各个所述节点的故障概率，确定所述目标集群中的慢节点。

2.根据权利要求1所述的方法，其特征在于，所述节点任务状态指标包括：任务数量、任务占用资源信息、任务执行时间、传播延时、传输延时、排队延时；所述网络流量是通过旁路网络监测设备采集的；所述操作系统指标包括：指令响应时间、网络时间协议误差时间、每秒交易量、CPU负载、内存使用率、磁盘容量占比、磁盘负载、节点文件数量；

所述根据各个所述节点的数据指标，通过机器学习模型，预测得到各个所述节点的故障概率，包括：

针对各个所述节点，通过迭代自组织数据分析算法，检测所述节点的数据指标中的离群值以及无效值，并剔除所述离群值以及无效值，得到目标数据；

对所述数据指标中的特征进行关联分析，确定所述数据指标中特征之间的关联关系，并将所述关联关系作为特征关联指标；

将所述目标数据以及所述特征关联指标输入到所述机器学习模型中，预测得到所述节点的故障概率。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

周期性地采集多个集群中的每个集群中各个节点的数据指标，并将每个集群中各个节点的数据指标作为历史指标；

针对每个集群中各个节点，将所述历史指标进行预处理，得到目标历史数据，并根据历史指标，生成历史特征关联指标；

获取每个集群中各个节点是否为慢节点的历史分析结果；

将每个集群中各个节点的所述历史指标、对应的所述历史特征关联指标以及历史分析结果作为样本，并通过各个所述样本，训练机器学习模型。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述目标集群为至少一个集群；所述方法还包括：

存储周期性采集的目标集群中各个节点的数据指标、数据指标采集时间、特征关联指标、节点的元数据以及对应的故障概率；

根据目标集群中各个节点的数据指标、数据指标采集时间、特征关联指标、节点的元数据以及对应的故障概率，生成集群慢节点监控数据库，用以支持节点数据的统一管理和包含故障概率的分析结果的追溯排查。

5.根据权利要求4所述的方法，其特征在于，所述根据预测的各个所述节点的故障概率，确定所述目标集群中的慢节点，包括：

针对各个所述节点，若预测的所述节点的故障概率大于或等于预设概率阈值，则确定所述节点为所述目标集群中的慢节点；

相应的，所述方法还包括：

针对所述慢节点，触发告警操作，并统计告警次数；

根据所述慢节点对应的数据指标采集时间、告警的次数以及数据指标，生成慢节点分析结果报表，用以支持判断是否进行节点隔离与修复。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据所述集群慢节点监控数据库，通过所述慢节点的标识，查找所述慢节点对应的历史相关数据；

根据所述历史相关数据和所述慢节点分析结果报表，确定所述慢节点形成的原因。

7.一种数据分析装置，其特征在于，所述装置包括：

采集模块，用于采集目标集群中各个节点的数据指标；所述数据指标包括下述至少一项：节点任务状态指标、网络流量、操作系统指标；

预测模块，用于根据各个所述节点的数据指标，通过机器学习模型，预测得到各个所述节点的故障概率；

数据分析模块，用于根据预测的各个所述节点的故障概率，确定所述目标集群中的慢节点。

8.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至6任一项所述的数据分析方法。