[发明专利]动态加载基于图的计算

权利要求书

1.一种用于在使用存储在数据存储系统中的编译后的数据流图的数据处理系统中处理数据的方法，该方法包括：

接收多个作业单元，每个作业单元包括一个或多个作业元素；以及

响应于接收第一作业单元使用加载到数据处理系统中的第一编译后的数据流图处理第一作业单元，该第一编译后的数据流图已被编译为代表第一数据流图的数据结构，该第一数据流图包括通过代表数据处理组件之间的作业元素的流的链接连接的代表数据处理组件的节点，该处理包括

分析第一作业单元以便确定第一作业单元的特征；

在接收第一作业单元之前，从存储在包括至少一些被编译的编译后的数据流图的数据存储系统中的多个编译后的数据流图识别一个或多个编译后的数据流图，用于处理具有第一作业单元的确定的特征的作业单元；

将识别的一个或多个编译后的数据流图中的一个作为第一编译后的数据流图加载到数据处理系统；以及

使用第一数据流图从第一作业单元中的至少一个作业元素生成一个或多个输出作业元素。

2.如权利要求1所述的方法，其中多个作业单元对应于在接收的作业元素的流中的不同连续组的一个或多个作业元素。

3.如权利要求1所述的方法，其中多个作业单元对应于在不同的各个接收的文件中的不同批的一个或多个作业元素。

4.如权利要求1所述的方法，其中加载还包括从第一编译后的数据流图获取代表第一数据流图的数据结构以及将获取的数据结构加载到第二数据流图中。

5.如权利要求4所述的方法，其中在接收第一作业单元之前运行第二数据流图。

6.如权利要求4所述的方法，其中将获取的数据结构加载到第二数据流图中包括将第一数据流图嵌入在第二数据流图的包含组件中，该第二数据流图的包含组件被配置为提供第一进程以便执行第一数据流图中的数据处理组件。

7.如权利要求6所述的方法，其中第二数据流图的包含组件还被配置为提供第二进程以便监视第一数据流图中的数据处理组件的执行。

8.如权利要求7所述的方法，其中响应于检测第一数据流图中的至少一个数据处理组件的失败以便正确地处理给定的作业元素，第二进程中断第一数据流图的执行而不中断第二数据流图的执行。

9.如权利要求7所述的方法，其中响应于检测处理第一作业单元的第一数据流图中的至少一个数据处理组件的延迟，第二进程暂停第一数据流图的执行而不中断第二数据流图的执行并且将第三数据流图嵌入在第二数据流图的包含组件中以便处理在第一作业单元之后接收的第二作业单元。

10.如权利要求6所述的方法，其中第二数据流图的包含组件还被配置为提供第一进程用来与第二进程通信的、访问用于第一远程数据库的库的第一应用编程接口。

11.如权利要求10所述的方法，其中第二数据流图的包含组件还被配置为提供第一进程用来与第三进程通信的、访问不同于用于第一远程数据库的库的用于第二远程数据库的库的第二应用编程接口。

12.如权利要求11所述的方法，其中第二数据流图的包含组件还被配置为提供与第二数据流图的多个组件兼容的第三应用编程接口。

13.如权利要求12所述的方法，其中第二数据流图的包含组件还被配置为基于访问第一或第二远程数据库中的哪一个将使用第三应用编程接口的应用调用转换为使用第一或第二应用编程接口中的选择的一个的应用调用。

14.如权利要求4所述的方法，其中将获取的数据结构加载到第二数据流图中包括将第一数据流图嵌入在第二数据流图的包含组件中，嵌入包括：

将从连接到包含组件的输入的链接接收的输入作业元素的流连接到第一数据流图的输入，以及

将生成的一个或多个输出作业元素连接到与包含组件的输出连接的链接。

15.如权利要求14所述的方法，其中第一数据流图包括：包括至少一个连接到第二组件的输入的输出链接的第一组件；当第一数据流图被嵌入在包含组件中时，将输入作业元素提供到第二组件的指令；以及当第一数据流图没有被嵌入在包含组件中时，将来自存储位置的作业元素提供到第二组件的指令。