[发明专利]一种对大数据进行处理的方法和装置

权利要求书

1.一种对大数据进行处理的方法，其特征在于，所述方法包括：

获取多个键值对集合，所述键值对集合包括至少一个键值对，键值对中的 键和值分别为待处理的大数据中的两个子数据，且所述两个子数据之间存在预 设数据关系，所述键值对集合中的各键值对中的取模余数都相同；

分别计算每个键值对集合中包括的各值之和，得到所述每个键值对集合包 括的值的总值；

获取Reduce处理模块集合中的每个Reduce处理模块的负载情况；

根据所述每个键值对集合中包括的值的总值和所述每个Reduce处理模块的 负载情况，分别为所述每个Reduce处理模块分配对应的键值对集合；

通过所述每个Reduce处理模块分别对分配到的所述键值对集合进行处理。

2.根据权利要求1所述的对大数据进行处理的方法，其特征在于，所述获 取多个键值对集合步骤包括：

通过Map处理模块对所述大数据进行处理，得到多个所述键值对；

根据预先设置的取模系数，分别对得到的多个所述键值对的键进行取模操 作，分别得到多个所述键值对的取模余数；

将取模余数相同的多个所述键值对分配到一个键值对集合中，形成所述多 个键值对集合。

3.根据权利要求2所述的对大数据进行处理的方法，其特征在于，所述取 模系数＝Reduce处理模块数量×取模因子，所述取模因子是预先确定的。

4.根据权利要求1所述的对大数据进行处理的方法，其特征在于，所述根 据所述每个键值对集合中包括的值的总值和所述每个Reduce处理模块的负载情 况，分别为所述每个Reduce处理模块分配对应的键值对集合步骤包括：

确定当前所述键值对集合的分配次数；

根据确定的当前所述键值对集合的分配次数，找到与所述分配次数对应的 所述键值对集合的分配比例，所述分配次数与所述键值对集合的分配比例的对 应关系是预先设定的；

根据得到的所述键值对集合的分配比例，从多个所述键值对集合中获取相 应数量的所述键值对集合；

根据按照分配比例获取到的所述每个键值对集合中包括的值的总值和所述 每个Reduce处理模块的负载情况，分别为所述每个Reduce处理模块分配对应 的键值对集合。

5.根据权利要求4所述的对大数据进行处理的方法，其特征在于，所述根 据按照分配比例获取到的所述每个键值对集合中包括的值的总值和所述每个 Reduce处理模块的负载情况，分别为所述每个Reduce处理模块分配对应的键值 对集合步骤包括：

按照对负载较轻的所述Reduce处理模块分配总值较大的所述键值对集合的 分配规则，分别为所述每个Reduce处理模块分配对应的键值对集合。

6.一种对大数据进行处理的装置，其特征在于，所述装置包括：

第一获取模块，用于获取多个键值对集合，所述键值对集合包括至少一个 键值对，键值对中的键和值分别为待处理的大数据中的两个子数据，且所述两 个子数据之间存在预设数据关系，所述键值对集合中的各键值对中的取模余数 都相同；

计算模块，用于分别计算每个键值对集合中包括的各值之和，得到所述每 个键值对集合包括的值的总值；

第二获取模块，用于获取Reduce处理模块集合中的每个Reduce处理模块 的负载情况；

分配模块，用于根据所述每个键值对集合中包括的值的总值和所述每个 Reduce处理模块的负载情况，分别为所述每个Reduce处理模块分配对应的键值 对集合；

处理模块，用于通过所述每个Reduce处理模块分别对分配到的所述键值对 集合进行处理。