[发明专利]用于机器集群的并行编程的架构

权利要求书

1.一种用于并行处理数据的方法，包括：

在多个处理节点上发起并行执行第一数据处理操作，所述第一数 据处理操作是利用在所述多个处理节点上执行的第一用户定义的函 数来定制的；以及

在所述多个处理节点上发起并行执行第二数据处理操作，所述第 二数据处理操作是利用在所述多个处理节点上执行的第二用户定义 的函数来定制的；

其中所述第一数据处理操作和所述第二数据处理操作中的至少 一个包括块运算符操作；其中所述块运算符操作利用用户定义的块 函数来定制；以及其中所述块运算符操作可操作用于将所述用户定 义的块函数应用于第一向量的多个记录。

2.根据权利要求1所述的方法，进一步包括：

根据用户定义的散列函数，在所述多个处理节点间指派所述第一 向量的向量组块。

3.根据权利要求2所述的方法，进一步包括：

将用于所述向量组块的向量组块节点位置信息提供给作业调度 器。

4.根据权利要求2所述的方法，进一步包括：

重新安排所述向量组块。

5.根据权利要求1所述的方法，

其中所述第一数据处理操作或第二数据处理操作包括联接运算 符操作；

其中所述第一用户定义的函数或第二用户定义的函数包括用户 定义的联接函数；以及

其中所述联接运算符操作用于：当所述第一向量和第二向量中 出现的联接索引字段与分布在所述多个处理节点间的所述第一向量 中的第一匹配记录和所述第二向量中的第二匹配记录相匹配时，对 所述第一匹配记录和所述第二匹配记录调用所述用户定义的联接函 数以获得联接结果。

6.根据权利要求5所述的方法，进一步包括：

接收联接函数调用；以及

在所述多个处理节点间本地发起产生联接任务，每个联接任务 可操作以选择性地发起执行所述用户定义的联接函数。

7.根据权利要求1所述的方法，

其中所述第一数据处理操作或第二数据处理操作包括递归运算 符操作；

其中所述第一用户定义的函数或第二用户定义的函数包括用户 定义的递归函数；以及

其中所述递归运算符操作在所述多个处理节点本地的向量组块 上调用所述用户定义的递归函数开始，以产生中间结果、将所述中 间结果的子集传达至所述多个处理节点的子集，以及迭代进行：

对所述中间结果调用所述用户定义的递归函数以产生越来 越少的中间结果；以及

将所述越来越少的中间结果的子集传达至所述多个处理节 点的越来越少的子集；直到在所述节点的第一子集的最终节点 上的所述第一向量处获得最终递归结果。

8.根据权利要求7所述的方法，进一步包括：

接收递归函数调用；以及

在所述多个处理节点间本地发起产生递归操作任务，每个递归 操作可操作以选择性地对所述向量组块发起执行所述用户定义的递 归函数。

9.根据权利要求1所述的方法，

其中所述第一数据处理操作或第二数据处理操作包括卷积运算 符操作；

其中所述第一用户定义的函数或第二用户定义的函数包括用户 定义的卷积函数；以及

其中所述卷积运算符操作针对所述第一向量的每个记录而对第 二向量的每个记录调用所述用户定义的卷积函数，以获得卷积函数 结果。

10.根据权利要求9所述的方法，进一步包括：

接收卷积函数调用；以及

在所述多个处理节点间本地发起产生卷积操作任务，每个卷积 操作任务可操作以选择性地发起执行所述用户定义的卷积函数。