[发明专利]数据处理方法及装置

说明书

本申请公开了一种数据处理方法及装置，所述方法包括：在目标工作流中目标节点对应的父节点运行完成的情况下，根据所述父节点在所述目标工作流的当前运行流程中的运行时长，获得第一变量；根据所述目标节点在所述目标工作流的历史运行流程中的运行时长，获得第二变量；至少根据所述第一变量和所述第二变量，获得所述目标节点的预测运行时长。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法及装置。

背景技术

工作流是由一系列执行不同程序的节点串行或并行运行的工作流，每一种工作流包含的节点类型及运行顺序固定不变。部分节点基于当前工作流需要处理的业务数据量进行作业，其运行时长会根据需要计算的数据量及复杂度发生变化。

目前，在预测节点的运行时长进而监控其是否超时，需要考虑数据量的大小和复杂度。然而，这部分指标数值只有在整体工作流及所有节点都运行完成之后才能够获得。

因此，以上预测节点运行时长的方案存在预测效率低的缺陷。

发明内容

有鉴于此，本申请提供一种数据处理方法及装置，如下：

一种数据处理方法，包括：

在目标工作流中目标节点对应的父节点运行完成的情况下，根据所述父节点在所述目标工作流的当前运行流程中的运行时长，获得第一变量；

根据所述目标节点在所述目标工作流的历史运行流程中的运行时长，获得第二变量；

至少根据所述第一变量和所述第二变量，获得所述目标节点的预测运行时长。

上述方法，优选的，根据所述父节点在所述目标工作流的当前运行流程中的运行时长，获得第一变量，包括：

对所述父节点在所述目标工作流的当前运行流程中的运行时长进行主成分分析处理，以得到所述父节点对应的第一主成分；

获得所述父节点对应于所述第一主成分的主成分得分，所述主成分得分作为第一变量。

上述方法，优选的，对所述父节点在所述目标工作流的当前运行流程中的运行时长进行主成分分析处理，以得到所述父节点对应的第一主成分，包括：

根据所述父节点在所述目标工作流的当前运行流程中的运行时长，获得所述父节点对应的主成分载荷系数矩阵，所述主成分载荷系数矩阵中的矩阵元素表征相应的主成分对相应的父节点的运行时长的影响程度；

根据所述主成分载荷系数矩阵中的矩阵元素，获得第一主成分，所述第一主成分对所述父节点的运行时长的影响程度满足第一筛选条件。

上述方法，优选的，获得所述父节点对应于所述第一主成分的主成分得分，包括：

获得所述第一主成分对应的第一载荷系数矩阵，所述第一载荷系数矩阵中的矩阵元素表征所述第一主成分对相应的父节点的运行时长的影响程度；

根据所述第一载荷系数矩阵中的矩阵元素，对所述父节点的运行时长进行处理，以得到所述父节点对应于所述第一主成分的主成分得分。

上述方法，优选的，所述父节点为所述目标工作流中与所述目标节点之间关于运行时长的相关性系数满足第二筛选条件的父节点。

上述方法，优选的，根据所述目标节点在所述目标工作流的历史运行流程中的运行时长，获得第二变量，包括：

获得所述目标节点在第一运行流程中的运行时长与所述目标节点在至少一个第二运行流程中的运行时长之间的偏自相关系数，所述第一运行流程为所述目标工作流的最近一次的运行流程，所述第二运行流程为所述第一运行流程之前第N次的运行流程，N为大于或等于1的正整数；

至少根据所述偏自相关系数，获得第二变量。