[发明专利]分布式计算方法、装置及系统

权利要求书

1.一种分布式计算方法，包括：

获取计算作业；

将所述计算作业针对的待处理的数据切分为多个数据块；

将所述计算作业划分为多个映射任务和一个或多个化简任务，并将所述映射任务和所述化简任务分配给多个工作节点，其中，每个所述映射任务对应一个数据块，分配了映射任务的第一工作节点用于对所述数据块进行处理，以得到中间处理结果，分配了化简任务的第二工作节点的输入来源于所述第一工作节点的输出；

确定与所述计算作业相适配的分区方式，所述分区方式用于对所述多个映射任务产生的中间处理结果进行分区；

基于确定的分区方式对所述第一工作节点的输出进行分区；

将同一分区的中间处理结果分配给同一第二工作节点。

2.根据权利要求1所述的分布式计算方法，其中，确定与所述计算作业相适配的分区方式的步骤包括：

从分区方式集合中选取与所述计算作业相适配的分区方式，所述分区方式集合包括多个分区方式。

3.根据权利要求2所述的分布式计算方法，其中，

所述分区方式集合中存在至少一个第一分区方式，每个所述第一分区方式对应一种或多种数据类型，

从分区方式集合中选取与所述计算作业相适配的分区方式的步骤包括：根据所述计算作业针对的数据的数据类型，从所述分区方式集合中选取与所述数据类型对应的第一分区方式。

4.根据权利要求2所述的分布式计算方法，其中，从分区方式集合中选取与所述计算作业相适配的分区方式的步骤包括：

根据所述计算作业的任务类型，从所述分区方式集合中选取与所述计算作业的任务类型相适配的分区方式。

5.根据权利要求2所述的分布式计算方法，其中，从分区方式集合中选取与所述计算作业相适配的分区方式的步骤包括：

获取第一参数配置信息，所述第一参数配置信息包括针对所述计算作业配置的分区方式；

从所述分区方式集合中选取所述第一参数配置信息所表征的分区方式。

6.根据权利要求1所述的分布式计算方法，其中，确定与所述计算作业相适配的分区方式的步骤包括：

提供编程接口；

获取用户通过所述编程接口提供的自定义程序；

基于所述自定义程序确定所述计算作业的分区方式。

7.根据权利要求1所述的分布式计算方法，其中，

确定与所述计算作业相适配的分区方式的步骤包括：获取第二参数配置信息，所述第二参数配置信息包括一个或多个数据值；将所述数据值作为分区字段，其中，

基于确定的分区方式对所述第一工作节点的输出进行分区的步骤包括：按照所述分区字段对所述第一工作节点的输出进行分区。

8.根据权利要求7所述的分布式计算方法，其中，

所述第二参数配置信息还包括所述第二工作节点的数量以及所述数据值和所述第二工作节点之间的对应关系，

将同一分区的中间处理结果分配给同一第二工作节点的步骤包括：将所述第一工作节点的输出中与所述数据值对应的输出作为与所述数据值对应的第二工作节点的输入。

9.根据权利要求1所述的分布式计算方法，其中，所述计算作业为MapReduce作业或SQL作业。

10.根据权利要求9所述的分布式计算方法，其中，若所述计算作业为MapReduce作业，则该方法还包括：

将所述MapReduce作业转换为SQL语句；

使用基于SQL的分布式编程模型执行所述分布式计算方法。