[发明专利]一种生成目标代码的方法、数据处理的方法及装置

权利要求书

1.一种生成Map/Reduce模型的目标代码的方法，其特征在于，所述方法包括：

A.获取用户指令；

B.根据所述用户指令生成中间码原始图，所述中间码原始图由指代数据处理方式的节点和节点之间指代数据传递方向的有向边构成；

C.对所述中间码原始图进行分解，得到与Map/Reduce过程的各个执行阶段对应的中间码阶段图，其中所述执行阶段有一个或多个；

D.将与Map/Reduce过程的各个执行阶段对应的中间码阶段图翻译为Map/Reduce过程的各个执行阶段的目标代码。

2.根据权利要求1所述的方法，其特征在于，所述步骤B包括：

B1.将所述用户指令转化为多个不可再分割的数据处理操作；

B2.将各个不可再分割的数据处理操作转换为所述中间码原始图的各个节点，并根据所述用户指令中的数据传递方向得到连接各个节点的有向边，从而得到所述中间码原始图。

3.根据权利要求1所述的方法，其特征在于，所述步骤C包括：

C1.按照预先定义的节点类型，在所述中间码原始图中隐含分组逻辑的节点前补充分组逻辑节点及聚合逻辑节点，得到中间码补充图，所述预先定义的节点类型包括：无分组逻辑节点、分组逻辑节点及隐含分组逻辑的节点；

C2.从所述中间码补充图的分组逻辑节点与聚合逻辑节点之间进行切分，并在切分后的每个部分之间补充标记数据源的节点和按数据源标记接收相应数据的节点，得到与Map/Reduce过程的各个执行阶段对应的中间码阶段图。

4.根据权利要求1所述的方法，其特征在于，所述方法在步骤C前进一步包括：对所述中间码原始图中的节点进行优化；

所述优化的策略包括以下S1、S2和S3中的至少一项：

S1.从所述中间码原始图中的输出节点开始向前遍历，找出通过所述中间码原始图的有向边能到达该输出节点的所有前置节点并进行标记，删除所述中间码原始图中未被标记的节点；

S2.将等价节点进行合并，其中所述等价节点是除了数据源属性不同，其他所有属性均相同，且不依赖于其他节点或依赖于相同节点的节点；

S3.将仅依赖于一个节点且满足合并策略的邻接节点进行合并。

5.根据权利要求4所述的方法，其特征在于，所述S3采用的合并策略包括：排序逻辑节点与取序列值逻辑节点合并为一个排序逻辑节点，或两个过滤逻辑节点合并为一个过滤逻辑节点，或两个选择逻辑节点合并为一个选择逻辑节点。

6.根据权利要求1所述的方法，其特征在于，所述步骤D中，将所述中间码阶段图中的每个节点翻译为所述目标代码中的代表不可再分割的数据处理操作的一个类的实例，将所述中间码阶段图中的每条有向边翻译为所述目标代码中的代表数据传递的一个方法。

7.一种数据处理方法，其特征在于，所述方法包括：

a.获取待处理的数据；

b.采用权利要求1至6中任一权项所述方法生成的目标代码对所述待处理的数据进行处理以得到处理结果。

8.一种生成Map/Reduce模型的目标代码的装置，其特征在于，所述装置包括：

指令获取单元，用于获取用户指令；

图生成单元，用于根据所述用户指令生成中间码原始图，所述中间码原始图由指代数据处理方式的节点和节点之间指代数据传递方向的有向边构成；

分解单元，用于对所述中间码原始图进行分解，得到与Map/Reduce过程的各个执行阶段对应的中间码阶段图，其中所述执行阶段有一个或多个；

翻译单元，用于将与Map/Reduce过程的各个执行阶段对应的中间码阶段图翻译为Map/Reduce过程的各个执行阶段的目标代码。

9.根据权利要求8所述的装置，其特征在于，所述图生成单元包括：

转化子单元，用于将所述用户指令转化为多个不可再分割的数据处理操作；

图生成子单元，用于将各个不可再分割的数据处理操作转换为所述中间码原始图的各个节点，并根据所述用户指令中的数据传递方向得到连接各个节点的有向边，从而得到所述中间码原始图。