[发明专利]一种数据处理方法及相关设备

说明书

本发明公开了一种数据处理方法及相关设备，可以确定与目标节点对目标作业的允许响应时长相匹配的富裕时长，基于富裕时长和目标节点在执行目标作业过程中的最大吞吐量，确定检查点的输出间隔时长，按照输出间隔时长，控制目标节点在执行目标作业的过程中输出检查点。本发明可以有效避免作业恢复时间过长而不满足允许响应时间的要求，并可以最小化检查点写出和进行故障恢复所需的资源消耗。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法及相关设备。

背景技术

随着计算机技术的发展，数据处理技术不断提高。

当前，节点在处理作业的过程中，可以通过输出检查点来提供容错能力。具体的，当节点在处理作业的过程中出现故障时，可以恢复到检查点对应的状态，而无需再重新开始处理作业，可以有效提高作业处理效率。

但是，现有技术无法确定出有效的检查点的输出间隔时长。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法及相关设备，技术方案如下：

一种数据处理方法，所述方法包括：

确定与所述目标节点对目标作业的允许响应时长相匹配的富裕时长；

基于所述富裕时长和所述目标节点在执行所述目标作业过程中的最大吞吐量，确定检查点的输出间隔时长；

按照所述输出间隔时长，控制所述目标节点在执行所述目标作业的过程中输出检查点。

可选的，所述确定与所述目标节点对目标作业的允许响应时长相匹配的富裕时长，包括：

确定所述目标节点对目标作业的允许响应时长；

在所述目标节点对所述目标作业的历史执行时长数据中，将排列在预设百分位数的执行时长确定为目标执行时长；

基于所述允许响应时长和所述目标执行时长，确定所述富裕时长。

可选的，所述基于所述富裕时长和所述目标节点在执行所述目标作业过程中的最大吞吐量，确定检查点的输出间隔时长，包括：

将所述富裕时长与所述最大吞吐量的乘积，确定为所述输出间隔时长。

可选的，所述基于所述允许响应时长和所述目标执行时长，确定所述富裕时长，包括：

将所述允许响应时长与所述目标执行时长的差值，确定为所述富裕时长。

一种数据处理装置，所述装置包括：第一确定单元、第二确定单元和控制单元；其中：

所述第一确定单元，用于确定与所述目标节点对目标作业的允许响应时长相匹配的富裕时长；

所述第二确定单元，用于基于所述富裕时长和所述目标节点在执行所述目标作业过程中的最大吞吐量，确定检查点的输出间隔时长；

所述控制单元，用于按照所述输出间隔时长，控制所述目标节点在执行所述目标作业的过程中输出检查点。

可选的，所述第一确定单元包括：第三确定单元、第四确定单元和第五确定单元；

所述第三确定单元，用于确定所述目标节点对目标作业的允许响应时长；

所述第四确定单元，用于在所述目标节点对所述目标作业的历史执行时长数据中，将排列在预设百分位数的执行时长确定为目标执行时长；

所述第五确定单元，用于基于所述允许响应时长和所述目标执行时长，确定所述富裕时长。

可选的，所述第二确定单元，用于将所述富裕时长与所述最大吞吐量的乘积，确定为所述输出间隔时长。