[发明专利]一种基于映射聚合的分布式计算作业的实现方法及装置

权利要求书

1.一种基于映射聚合的分布式计算的实现方法，所述实现方法至少包括两个映射计算任务；其特征在于，还包括至少一个连接计算任务；所述连接计算任务包括如下步骤：

接收来自分布式计算作业的至少两个映射计算任务的输出数据，作为连接计算任务的输入；

对所述接收的输入数据执行连接运算；

将所述连接运算的结果格式化为输出文件格式输出或存储至分布式文件系统中；

所述接收来自分布式计算作业的至少两个映射计算任务的输出数据作为输入具体包括：

接收来自不同分布式计算作业的至少两个初始映射计算任务的输出数据作为输入；每一映射计算任务包括如下步骤：

获取根据分布式计算作业数据大小对该分布式计算作业进行切分而形成的块数据，作为映射计算任务的输入；

按照配置的格式读取并解析所述作为映射计算任务的输入的块数据；

对所述块数据执行映射操作，形成相应的中间键值对集合；

将生成的所述中间键值对集合按照设定的格式输出，并将该输出作为所述连接计算任务的输入；

所述将生成的所述中间键值对集合按照设定的格式输出包括：

将生成的所述中间键值对集合中的数据按照设定的计算规则均匀分配到内存不同区域中暂存，每一区域成为一个桶；

对每一桶中的数据记录按照选定的字段元素进行排序；

其中，桶的数目与该分布式计算的映射任务相应的规约任务数目相一致。

2.根据权利要求1所述的基于映射聚合的分布式计算的实现方法，其特征在于，将生成的所述中间键值对集合中的数据按照设定的计算规则均匀分配到不同的桶中具体包括：

将生成的所述中间键值对集合中的数据按照设定的hash计算规则均匀分配到不同区域中暂存。

3.根据权利要求1所述的基于映射聚合的分布式计算的实现方法，其特征在于，所述对所述接收的输入数据执行连接运算包括：

对于接收的来自每一映射计算任务的输出数据，依据连接操作主键值并按照相同的规则进行排序；

对接收到的排序后的数据分别进行分组；

选取来自于任一映射计算任务的任一分组数据，该分组数据称为第一分组数据；

将所述第一分组数据分别与其它映射计算任务的分组数据按照所述的排序逐一进行如下判断：判断所述第一分组数据是否与该其它映射计算任务的分组数据满足连接条件；

若满足，则对两组数据执行连接操作，并不再对该其它映射计算任务的剩余分组进行判断；

将所述第一分组数据的所有分组分别与其它所有映射计算任务的分组数据进行上述判断和连接操作，直至所有映射计算任务的所有分组数据均与相应的分组数据执行了所述判断及连接操作。

4.根据权利要求3所述的基于映射聚合的分布式计算的实现方法，其特征在于，所述连接操作包括内连接和外连接。

5.根据权利要求3所述的基于映射聚合的分布式计算的实现方法，其特征在于，所述连接操作为内连接，

所述对两组数据执行连接操作具体包括对所述两组数据做笛卡尔积；

相应的，在第一分组数据与该其它映射计算任务的分组数据不满足连接条件时，舍弃该其它映射计算任务的该分组数据。

6.根据权利要求3所述的基于映射聚合的分布式计算的实现方法，其特征在于，所述依据连接操作主键值并按照相同的规则进行排序具体包括：

依据连接操作的主键值按照主键值由小到大或由大到小或主键值按照其他特定的顺序进行排序。

7.根据权利要求1所述的基于映射聚合的分布式计算的实现方法，其特征在于，还包括聚合计算任务；

相应的，所述将所述连接运算的结果格式化为输出文件格式输出或存储至分布式文件系统中具体为将所述连接运算的结果格式化为输出文件格式输出；且，将所述连接运算的结果格式化为输出文件格式后的输出结果作为所述聚合计算任务的输入数据。