[发明专利]数据分析方法、装置、设备、存储介质及程序产品

说明书

本申请实施例提供一种数据分析方法、装置、设备、存储介质及程序产品，本申请实施例涉及数据分析技术领域，该方法包括：采集目标集群中各个节点的数据指标；所述数据指标包括下述至少一项：节点任务状态指标、网络流量、操作系统指标；根据各个所述节点的数据指标，通过机器学习模型，预测得到各个所述节点的故障概率；根据预测的各个所述节点的故障概率，确定所述目标集群中的慢节点。本申请实例提供的方法能够克服现有技术无法在不影响生产运行的基础上，快速定位出集群中的慢节点的问题。

技术领域

本申请实施例涉及数据分析技术领域，尤其涉及一种数据分析方法、装置、设备、存储介质及程序产品。

背景技术

大型商业银行构建大数据中心的时候，会采用大规模并行处理(MassivelyParallel Processing，MPP)数据库集群(简称集群)。随着我信息科技发展，信息数据量和业务数据量均处于剧烈激增状态，大型商业银行所构建数据中心的规模也随之增加。为了承载更多的数据，MPP数据库集群的规模也越来越大，同一集群的机器数量也在不断增加。比如，根据业务数据量或者计算资源的需求，集群的节点数量通常会从几十个节点到几百个节点，由于每个节点使用频次不同，硬件本身品质也存在差异，在集群长期的使用过程中，节点本身的损耗也会逐渐产生区别，导致各节点的性能逐渐产生差异，对于MPP数据库来说，由于木桶效应，集群整体的性能通常取决于集群中性能最差的节点，如某一节点性能大幅下降，会严重影响整个集群的对外性能表现，同时也会造成其他节点资源的浪费。集群性能降低时，整体批次时间延长，这时就需要快速定位出集群中性能较低的节点，隔离出集群，进行修复。

目前，已有的方案是停止整个集群的业务，用手工的方式在每个节点开展性能测试，从性能测试的结果中进行人工比对，定位出性能较低的节点，再从这些节点中进行故障排查，进一步确定慢节点。整个过程人工操作，效率低，而且需要停止生产系统的运行，即停止对外提供服务，极大的降低了整个系统的业务连续性运行的能力。

因此，现有技术无法在不影响生产运行的基础上，快速定位出集群中的慢节点。

发明内容

本申请实施例提供一种数据分析方法、装置、设备、存储介质及程序产品，以克服现有技术无法在不影响生产运行的基础上，快速定位出集群中的慢节点的问题。

第一方面，本申请实施例提供一种数据分析方法，所述方法包括：

采集目标集群中各个节点的数据指标；所述数据指标包括下述至少一项：节点任务状态指标、网络流量、操作系统指标；

根据各个所述节点的数据指标，通过机器学习模型，预测得到各个所述节点的故障概率；

根据预测的各个所述节点的故障概率，确定所述目标集群中的慢节点。

在一种可能的设计中，所述节点任务状态指标包括：任务数量、任务占用资源信息、任务执行时间、传播延时、传输延时、排队延时；所述网络流量是通过旁路网络监测设备采集的；所述操作系统指标包括：指令响应时间、网络时间协议误差时间、每秒交易量、CPU负载、内存使用率、磁盘容量占比、磁盘负载、节点文件数量；

所述根据各个所述节点的数据指标，通过机器学习模型，预测得到各个所述节点的故障概率，包括：

针对各个所述节点，通过迭代自组织数据分析算法，检测所述节点的数据指标中的离群值以及无效值，并剔除所述离群值以及无效值，得到目标数据；

对所述数据指标中的特征进行关联分析，确定所述数据指标中特征之间的关联关系，并将所述关联关系作为特征关联指标；

将所述目标数据以及所述特征关联指标输入到所述机器学习模型中，预测得到所述节点的故障概率。

在一种可能的设计中，所述方法还包括：