[发明专利]基于映射和规约的数据均衡性处理方法、装置及系统

权利要求书

1.一种基于映射和规约的数据均衡性处理方法，其特征在于，该方法包括：

A、获取客户端提交的数据，按照预先设置的映射器数对获取的数据进行初始分区；

B、分别对初始分区中的数据进行映射处理，获取中间结果数据；

C、调用分区器函数，对中间结果数据按照预先设置的细粒度分区数进行细粒度分区，所述预先设置的细粒度分区数大于规约分区数；

D、将各细粒度分区中的中间结果数据量信息输出至工作服务器，接收工作服务器返回的细粒度分区与规约分区的对应关系，合并细粒度分区中属于同一规约分区的中间结果数据并输出至对应的规约分区；

E、对规约分区中的中间结果数据进行规约处理，获取相应的数据处理结果。

2.如权利要求1所述的方法，其特征在于，在所述步骤C和步骤D之间，进一步包括：

判断映射处理的进度是否达到预先设置的进度阈值，如果是，执行步骤D。

3.如权利要求2所述的方法，其特征在于，所述预先设置的进度阈值为映射器已完成初始分区中的数据量映射处理的预设的百分比。

4.如权利要求3所述的方法，其特征在于，步骤D中所述将各细粒度分区中的中间结果数据量信息输出至工作服务器，接收工作服务器返回的细粒度分区与规约分区的对应关系具体包括：

工作服务器统计接收的各映射器上报的相应细粒度分区中的中间结果数据量信息，得到中间结果数据总量，根据规约分区数，计算每个规约分区需要处理的中间结果数据量，根据计算得到的每个规约分区需要处理的中间结果数据量信息，确定细粒度分区对应的规约分区，使得选择的细粒度分区内的中间结果数据量之和等于或近似等于对应规约分区需要处理的中间结果数据量，然后，将细粒度分区与规约分区的对应关系信息输出至任务服务器。

5.如权利要求4所述的方法，其特征在于，进一步包括：预先设置标识细粒度分区在细粒度分区群中顺序的细粒度分区顺序标志位，所述选择相应规约分区对应的细粒度分区，使得选择的细粒度分区内的中间结果数据量之和等于或近似等于对应规约分区需要处理的中间结果数据量具体包括：

顺序选择相应规约分区对应的细粒度分区，使得顺序选择的细粒度分区内的中间结果数据量之和等于或近似等于对应规约分区需要处理的中间结果数据量。

6.一种基于映射和规约的数据均衡性处理装置，其特征在于，该装置包括：接收单元、均衡策略计算单元以及发送单元，其中，

接收单元，用于接收客户端提交的数据，输出至发送单元；接收外部的任务服务器发送的各细粒度分区中的中间结果数据量信息，输出至均衡策略计算单元；

均衡策略计算单元，用于根据接收单元输出的各细粒度分区中的中间结果数据量信息，按照预先设置的均衡策略计算分配到预先设置的规约分区数中各规约分区的细粒度分区数，将细粒度分区与规约分区的对应关系信息输出至发送单元；

发送单元，用于将接收单元输出的客户端提交的数据以及均衡策略计算单元输出的细粒度分区与规约分区的对应关系信息输出至外部的任务服务器。

7.一种基于映射和规约的数据均衡性处理装置，其特征在于，该装置包括：接收单元、初始分区单元、映射处理单元、细粒度分区单元、规约分区单元以及规约处理单元，其中，

接收单元，用于接收来自外部作业服务器的数据，输出至初始分区单元；接收外部作业服务器输出的细粒度分区与规约分区的对应关系信息，输出至规约分区单元；

初始分区单元，用于按照预先设置的映射器数对接收的数据进行初始分区，输出至相应的映射处理单元；

映射处理单元，用于对初始分区输出的数据进行映射处理，获取中间结果数据，输出至细粒度分区单元；

细粒度分区单元，用于按照预先设置的细粒度分区数对中间结果数据进行细粒度分区，所述预先设置的细粒度分区数大于规约分区数，并将中间结果数据量信息输出至外部的作业服务器；接收来自接收单元输出的细粒度分区与规约分区的对应关系信息，根据对应关系将细粒度分区中属于同一规约分区的中间结果数据输出至相应的规约分区；

规约分区单元，用于将接收的中间结果数据输出至相应的规约处理单元；

规约处理单元，用于对输入的合并的中间结果数据进行规约处理，获取相应的数据处理结果。