[发明专利]任务的数据保存及恢复方法、装置、服务器及存储介质

权利要求书

1.一种任务的数据保存方法，包括：

获取任务当前检查点的任务执行数据；

根据所述当前检查点的任务执行数据和所述任务上一检查点的任务执行数据，确定所述任务在所述两个检查点之间的变化数据；

将所述变化数据存入具有快照功能的存储系统，以及控制所述存储系统执行快照操作，并在所述存储系统中维护所述任务的任务执行数据的存储位置。

2.如权利要求1所述的任务的数据保存方法，其特征在于，所述控制将所述变化数据存入具有快照功能的存储系统，以及控制所述存储系统执行快照操作包括：

在所述变化数据不为空时，控制所述存储系统执行快照操作后，将所述变化数据存入所述存储系统；或，将所述变化数据存入所述存储系统后，控制所述存储系统执行快照操作；

在所述变化数据为空时，控制所述存储系统执行快照操作。

3.如权利要求2所述的任务的数据保存方法，其特征在于，在所述变化数据不为空时，所述将所述变化数据存入所述存储系统包括：

在所述变化数据中包括新增的数据时，由所述存储系统分配新的存储空间，将所述新增的数据存入由所述存储系统分配的新的存储空间内；

在所述变化数据中包括与上一检查点的任务执行数据相比存在修改后的数据时，控制所述存储系统利用写时拷贝机制，将所述存储系统中存储的所述修改后的数据所对应的原数据拷贝一份并设置为只读，再将所述存储系统中存储的所述修改后的数据所对应的原数据，更新为所述修改后的数据。

4.如权利要求1-3任一项所述的任务的数据保存方法，其特征在于，所述任务执行数据包括当前缓存的数据流，与数据流相关的状态信息，以及中间结果数据中的至少一种。

5.如权利要求1-3任一项所述的任务的数据保存方法，其特征在于，所述存储系统为分布式块存储系统、分布式文件存储系统或分布式对象存储系统。

6.如权利要求1-3任一项所述的任务的数据保存方法，其特征在于，所述根据所述当前检查点的任务执行数据与所述任务上一检查点的任务执行数据，确定所述任务在所述两个检查点之间的变化数据包括：

从内存中获取所述任务上一检查点的任务执行数据，并将所述当前检查点的任务执行数据与所述任务上一检查点的任务执行数据进行比较，得到所述任务在所述两个检查点之间变化的变化数据；

从内存中将所述任务上一检查点的任务执行数据删除。

7.一种任务的恢复方法，包括：

在任务重新启动后，根据所述任务的数据在所述存储系统中的存储位置，从存储系统中获取所述任务的检查点对应的数据，所述任务的各检查点对应的数据通过如权利要求1-6任一项所述的数据保存方法存储在所述存储系统中；

根据获取的检查点对应的数据恢复出所述任务之算子的计算状态。

8.一种任务的数据保存装置，其特征在于，包括：

增量计算模块，用于获取任务当前检查点的任务执行数据，根据所述当前检查点的任务执行数据和所述任务上一检查点的任务执行数据，确定所述任务在所述两个检查点之间的变化数据，将所述变化数据存入具有快照功能的存储系统，以及控制所述存储系统执行快照操作，并在所述存储系统中维护所述任务的任务执行数据的存储位置。

9.一种任务的恢复装置，其特征在于，包括：

任务恢复模块，用于在任务重新启动后，根据所述任务的数据在所述存储系统中的存储位置，从存储系统中获取所述任务的检查点对应的数据，根据获取的检查点对应的数据恢复出所述任务之算子的计算状态；所述任务的各检查点对应的数据通过如权利要求1-6任一项所述的数据保存方法存储在所述存储系统中。