[发明专利]数据的增量并行处理

权利要求书

1.一种由一个或多个处理器执行的计算机实现的方法，所述方法包括：

识别要被执行流水线应用的第一输入数据集，所述流水线应用包括流水线对象，所述流水线应用被配置成跨越多个计算设备并行执行，所述流水线对象中的每一个流水线对象被配置成接收输入数据集并且产生输出数据集；

对第一输入数据集执行所述流水线应用以产生第一输出数据集，执行所述流水线应用包括：按照使得所述流水线对象中的第一流水线对象提供输出数据作为到所述流水线对象中的第二流水线对象的输入数据的次序执行所述流水线对象中的每一个流水线对象并且包括：

响应于对所述第一输入数据集执行所述流水线应用而针对所述流水线对象中的每一个流水线对象确定流水线对象状态，所述流水线对象状态中的每一个流水线对象状态包括相应流水线对象的相应输入数据集和相应输出数据集的表示；

识别要被执行所述流水线应用的第二输入数据集；

确定所述第一输入数据集与所述第二输入数据集之间的差异集合，其中，所述差异集合指示所述第二输入数据集添加第一项到所述第一输入数据集中的项并且从所述第一输入数据集中的项移除第二项；以及

对指示所述第二输入数据集添加所述第一项到所述第一输入数据集中的项并且从所述第一输入数据集中的项移除所述第二项的所述差异集合执行所述流水线应用以产生与所述流水线应用将从对所述第二输入数据集的执行产生的输出数据集相同的第二输出数据集，对指示所述第二输入数据集添加所述第一项到所述第一输入数据集中的项并且从所述第一输入数据集中的项移除所述第二项的所述差异集合执行所述流水线应用包括：按照所述流水线对象中的所述第一流水线对象提供第二输出数据作为到所述流水线对象中的所述第二流水线对象的第二输入数据的次序执行所述流水线对象中的每一个流水线对象并且包括：

响应于对在所述第一输入数据集和所述第二输入数据集之间的所述差异集合执行所述流水线应用而更新所述流水线对象状态，以生成所述流水线对象中的每一个流水线对象的更新的流水线状态，所述更新的流水线状态中的每一个包括与相应流水线对象的相应输入数据集和相应输出数据集的差异。

2.根据权利要求1所述的方法，还包括：响应于对所述第一输入数据集执行所述流水线应用而确定流水线状态，所述流水线状态包括所述第一输入数据集和所述第一输出数据集的表示。

3.根据权利要求2所述的方法，还包括：响应于对与所述第一输入数据集的所述差异集合执行所述流水线应用而更新所述流水线状态，以生成更新的流水线状态，所述更新的流水线状态包括所述第二输入数据集和所述第二输出数据集的表示。

4.根据权利要求1所述的方法，其中，识别要被执行所述流水线应用的所述第一输入数据集包括：

将所述第一输入数据集变换成密钥值对的第一集合；以及

将密钥值对的所述第一集合存储在密钥值储存器中。

5.根据权利要求4所述的方法，其中，确定所述第一输入数据集与所述第二输入数据集之间的所述差异集合包括：

将所述第二输入数据集变换成密钥值对的第二集合；

将密钥值对的所述第二集合与密钥值对的所述第一集合进行比较；以及

识别相对于密钥值对的所述第一集合已被从密钥值对的所述第二集合中添加或者删除的密钥值对。

6.根据权利要求1所述的方法，其中，确定所述第一输入数据集与所述第二输入数据集之间的所述差异集合包括：

确定所述流水线的最后执行时间戳，所述最后执行时间戳表示对所述第一输入数据集执行所述流水线应用的时间；以及

识别包括在所述最后执行时间戳之后的时间戳的所述第二输入数据集中的项集合。