[发明专利]动态加载基于图的计算

说明书

相关申请的交叉引用

本申请要求来自通过引用合并于此的、提交于2010年6月15日的美国申请序列第61/355,129号的优先权。

技术领域

本发明涉及动态加载基于图的计算。

背景技术

采用与图的顶点相关联的计算的组件和在对应于图的链接（弧、边）的组件之间的数据流，复杂的计算经常被表示为通过有向图的数据流（被称为“数据流图”）。组件可以包括：数据处理组件，其在一个或多个输入端口接收数据，处理数据和从一个或多个输出端口提供数据；和数据集组件，其用作数据流的源或接收器（sink）。在美国专利5,966,072，EXECUTING COMPUTATIONS EXPRESSED AS GRAPHS（执行表示为图的计算）中描述了实施这样基于图的计算的系统。

发明内容

在总的方面，一种用于在使用存储在数据存储系统中的编译后的数据流图的数据处理系统中处理数据的方法，该方法包括：接收多个作业单元，每个作业单元包括一个或多个作业元素；以及响应于接收第一作业单元使用加载到数据处理系统中的第一编译后的数据流图处理第一作业单元。第一编译后的数据流图被编译为代表第一数据流图的数据结构，该第一数据流图包括通过代表在数据处理组件之间的作业元素的流的链接连接的代表数据处理组件的节点。处理包括分析第一作业单元以便确定第一作业单元的特征；在接收第一作业单元之前，从存储在包括至少一些被编译的编译后的数据流图的数据存储系统中的多个编译后的数据流图识别一个或多个编译后的数据流图，用于处理具有第一作业单元的确定的特征的作业单元；将识别的一个或多个编译后的数据流图中的一个加载到数据处理系统作为第一编译后的数据流图；以及使用第一数据流图从第一作业单元中的至少一个作业元素生成一个或多个输出作业元素。

方面可以包括以下特征中的一个或多个。

多个作业单元对应于接收的作业元素的流中的不同连续组的一个或多个作业元素。

多个作业单元对应于不同的各个接收的文件中的不同批的一个或多个作业元素。

加载还包括从第一编译后的数据流图获取代表第一数据流图的数据结构以及将获取的数据结构加载到第二数据流图。

在接收第一作业单元之前运行第二数据流图。

将获取的数据结构加载到第二数据流图包括在第二数据流图的包含组件中嵌入第一数据流图，该包含组件被配置为提供第一进程以便执行第一数据流图中的数据处理组件。

第二数据流图的包含组件还被配置为提供第二进程以便监视第一数据流图中的数据处理组件的执行。

响应于检测第一数据流图中的至少一个数据处理组件的失败以便正确地处理给定的作业元素，第二进程中断第一数据流图的执行而不中断第二数据流图的执行。

响应于检测在处理第一作业单元期间第一数据流图中的至少一个数据处理组件的延迟，第二进程暂停第一数据流图的执行而不中断第二数据流图的执行并且将第三数据流图嵌入在第二数据流图的包含组件中以便处理在第一作业单元之后接收的第二作业单元。

第二数据流图的包含组件还被配置为提供第一进程用来与第二进程通信的第一应用编程接口，该第一应用编程接口访问用于第一远程数据库的库。

第二数据流图的包含组件还被配置为提供第一进程用来与第三进程通信的第二应用编程接口，该第二应用编程接口访问不同于用于第一远程数据库的库的用于第二远程数据库的库。

第二数据流图的包含组件还被配置为提供与第二数据流图的多个组件兼容的第三应用编程接口。

第二数据流图的包含组件还被配置为将使用第三应用编程接口的应用调用转换为基于访问第一或第二远程数据库中的哪一个使用第一或第二应用编程接口中的选择的一个的应用调用。

将获取的数据结构加载到第二数据流图包括将第一数据流图嵌入在第二数据流图的包含组件中，嵌入包括：将从连接到包含组件的输入的链接接收的输入作业元素的流连接到第一数据流图的输入，以及将所生成的一个或多个输出作业元素连接到与包含组件的输出连接的链接。

第一数据流图包括：包括连接到第二组件的输入的至少一个输出链接的第一组件；当第一数据流图被嵌入在包含组件中时，向第二组件提供输入作业元素的指令；以及当第一数据流图没有被嵌入在包含组件中时，向第二组件提供来自存储位置的作业元素的指令。