[发明专利]数据处理系统中的作业管理

权利要求书

1.一种用于在数据处理平台上处理作业的方法，包括：

接收用于处理的第一作业，所述第一作业具有用于由所述数据处理平台的处理流水线执行所述第一作业的一组参数配置；以及

经由所述处理流水线的一个或多个处理模块执行所述第一作业的至少一部分，所述执行包括使用在第二作业的一部分的执行期间生成的至少一个数据碎片，并且还包括使用所述一个或多个处理模块中的至少一个处理模块的输出，所述输出在所述第二作业的一部分的执行期间生成。

2.根据权利要求1所述的方法，其中在执行所述第一作业的任何部分之前，处理所述第二作业的一个或多个部分。

3.如权利要求1所述的方法，其中所述处理模块包括一个或多个应用编程接口(API)。

4.根据权利要求1所述的方法，其中由所述数据处理系统处理的作业的参数配置在与所述作业相关联的相应参数文件中定义。

5.根据权利要求1所述的方法，其中包括在所述第二作业的一部分的执行期间生成的所述至少一个数据碎片的数据碎片由中央数据服务管理。

6.根据权利要求1所述的方法，其中所述中央数据服务是虚拟化的。

7.根据权利要求1所述的方法，其中所述中央数据服务包括中央数据储存库和中央元数据储存库。

8.根据权利要求7所述的方法，其中所述中央元数据储存库包括用于存储在所述中央数据储存库中的数据碎片的一组元数据文件，并且还包括用于所述处理流水线的处理模块的输出的附加的一组元数据文件。

9.根据权利要求1所述的方法，还包括：

从所述数据碎片的元数据文件中指示的位置拉取在所述第二作业的所述部分的执行期间生成的所述至少一个数据碎片；以及

从原始数据源中拉取未由已知数据碎片定义的任何数据。

10.根据权利要求9所述的方法，其中拉取所述至少一个数据碎片和拉取未由已知数据碎片定义的所述数据是基于经由图形用户界面(GUI)的用户选择而触发的。

11.一种用于在数据处理平台上处理作业的计算机程序产品，所述计算机程序产品包括具有随其体现的程序代码的非暂时性有形存储装置，所述程序代码可由计算机的处理器执行以执行方法，所述方法包括：

由处理器接收用于处理的第一作业，所述第一作业具有用于由所述数据处理平台的处理流水线执行所述第一作业的一组参数配置；以及

由处理器经由所述处理流水线的一个或多个处理模块执行所述第一作业的至少一部分，所述执行包括使用在第二作业的一部分的执行期间生成的至少一个数据碎片，并且还包括使用所述一个或多个处理模块中的至少一个处理模块的输出，所述输出在所述第二作业的一部分的执行期间生成。

12.根据权利要求11所述的计算机程序产品，其中在执行所述第一作业的任何部分之前，处理所述第二作业的一个或多个部分。

13.根据权利要求11所述的计算机程序产品，其中所述处理模块包括一个或多个应用编程接口(API)。

14.根据权利要求11所述的计算机程序产品，其中由所述数据处理系统处理的作业的参数配置在与所述作业相关联的相应参数文件中定义。

15.根据权利要求11所述的计算机程序产品，其中包括在所述第二作业的一部分的执行期间生成的所述至少一个数据碎片的数据碎片由中央数据服务管理。

16.根据权利要求11所述的计算机程序产品，其中所述中央数据服务是虚拟化的。