[发明专利]用于并行化的数据转换过程的表示

说明书

技术领域

本发明涉及信息管理。

背景技术

由于微处理器时钟速率的增长趋于缓慢，现在微处理器制造商也增加处理器内核的数量以便增加处理能力。但是，附加的内核的潜力只能被用于可并行化的商务应用，也即，可以被“划分”成可以并行执行的多个部分的商务应用。如今，应用需要以一种专门方式进行编写以便利用并行处理线程。编写并行执行的应用需要付出更多努力，并且需要专门训练。

发明内容

这里公开了用于提供编程模型和运行时架构的系统、装置和方法，所述编程模型和运行时构架以允许这些过程并行执行而不要求程序员编写专用的并行代码的形式来表达数据转换(操作)过程。在一个实施例中，定义一个或多个操作用于一个或多个项的库。分类与用于执行环境的转换图中的一个或多个操作相关联，其中所述分类定义是否可以对一个输入数据集的独立子集并行执行所述操作。基于所述分类处理所述操作。

在另一个实施例中，接收转换图，所述转换图包括一个或多个操作，其中所述操作是可并行化操作和不可并行化操作。所述图被切分成多个片段，其中每个片段由可并行化操作的线性序列组成，除了最后的操作，其不需要是可并行化的。在执行期间，这些片段被划分成许多并行的相同片段，各自处理一部分输入数据，其中在片段首部添加转换以划分输入数据，并在片段尾部合并结果。公开了其它指导系统、方法和计算机可读介质的实施方式。

附图说明

图1是信息管理系统的一个实施例的框图。

图2是一个示范性转换图。

图3显示了并行化之前和之后的转换图。

图4是处理一个转换图的示例过程的流程图。

图5是一个示例计算机系统的示意图，所述计算机系统可用于实施本文描述的系统和方法。

具体实施方式

图1是可用于实现本发明的系统100的一个实施例的框图。在一个实施例中，信息管理系统100可包括提供数据管理和持续功能性的后端信息管理层102，以及装载(host)应用的应用层104，所述应用可利用所述信息管理系统。

在一个实施例中，后端信息管理层102数据可包括存储器106。信息项105及其关联存储在存储模块106中。可以以处理图表的形式，也即转换图，经由服务器API 112从应用服务器层104发送请求到服务器API 112。并行处理引擎110可拾取这些转换图并尝试着最大化它们的并行执行。利用所述信息管理系统的功能性的应用程序116可在应用层104被部署，并且该应用程序可通过无状态服务器API访问后端服务器实例。由于该无状态API后端服务器可作为资源池，其中每个服务器实例可以处理每个应用请求。

在一个实施例中，(并行化的)转换图的实际处理在所述后端服务器实例114的执行引擎108中发生。在一个实施例中，应用服务器116包含应用逻辑并且与应用程序交互。在一个实施例中，独立的UI层可以存在。在其它实施例中，应用服务器116可以被网页服务调用来调用，应用服务器116发送查询或处理请求至后端服务器实例114，在后端服务器实例114中服务器API 112将输入信息进行解码，并构造相应的转换图，并行处理引擎110将所述图切分成多个片段，并动态地使计划用于执行的片段并行化。执行引擎108可在独立的工作线程中执行转换链；执行引擎108从所述并行化中分离(decouple)。当需要时，执行引擎108可从存储器106中抽取信息项105、关联及属性。

在一个实施例中，存储器106可存储信息项105，该信息项是属性的集合并在传统数据库中扮演数据对象的角色，以及可存储关联，其与信息项105彼此关联。在一个实施例中，属性将信息项与属性值关联。信息项105和关联的概念将在下文作更详细地解释。例如，信息项105的集合可以通过明确地列出其元素或者通过描述其从其它集合中被创建的方法来进行定义，例如，通过过滤或设置统一类型(unification)。

在一个实施例中，信息项105的属性或关联存在，其仅在特定的上下文中有效，例如，对于信息项的特定版本。在一个实施例中，上下文也可以针对信息项105集合而进行定义。

在信息项105和关联上执行的所有过程，例如选择、检索关联项，过滤以及属性处理，都可被表示成图，其中节点是处于特定状态的信息项105的集合，并且边表示转换(操作)。描述数据处理所需的操作集合通常在下面列出的商务应用中被完成。

在下文中称为“直接可并行化的转换”的某类转换可以被直接并行化，因为如果它们在一给定的输入集合的划分上被独立应用，那么它们的输出集合是分离的，并且不依赖于特定的执行顺序。