[发明专利]一种基于MapReduce的数据分配方法、装置及计算机可读存储介质

说明书

本发明实施例公开了一种基于MapReduce的数据分配方法、装置及计算机可读存储介质，该方法可以包括：对输入的待处理文档运行预设Map函数，得到键值对集合；利用预设计数方法计算键值对集合中键的类型数目；利用预设算法计算键对应的标准数值；对标准数值与类型数目进行取余计算，以将键值对集合中类型数目相同的键值对划分至一个分区中，得到至少一个分区，至少一个分区的个数与类型数目相同；基于至少一个分区对应的至少一个分区键值对数量，和至少一个Reduce任务对应的至少一个待分配键值对数量，建立至少一个分区与至少一个Reduce任务的对应关系，以供至少一个Reduce任务对至少一个分区键值对进行处理。

技术领域

本发明涉及互联网信息技术领域的大数据处理技术，尤其涉及一种基于MapReduce的数据分配方法、装置及计算机可读存储介质。

背景技术

近年来，随着电子技术的快速发展，计算机需要处理的数据量变得越来越大，为了应对海量数据，利用MapReduce分布式计算模型来对大数据进行处理，MapReduce的核心为Map阶段和Reduce阶段，其中，Map阶段的主要任务是一组map服务器将输入分片中需要的数据处理成key，value键值对的形式，Reduce阶段的主要任务是一组reduce服务器将相同key的数据进行合并，在map服务器将key，value键值对发送给reduce服务器进行处理时，需要将key，value进行分区，reduce服务器同时处理各自对应的分区内的key，value键值对。

现有技术中，根据key来进行分区，具体的分区公式为：hash(key)％(R_num)，其中R_num为reduce服务器的数量，利用现有技术将多个可以划分至一个分区中，且得到的分区数量与reduce服务器的个数是一一对应的。

然而，当key，value键值对中的数据分配严重不平衡时，会使得热点分区的数据量大，而非热点分区的数据量小，从而导致热点分区数据所对应的reduce的分区处理时间要比非热点分区数据对应的reduce的分区处理时间长，进而影响整个作业的完成时间。

发明内容

为解决上述技术问题，本发明实施例期望提供一种基于MapReduce的数据分配方法、装置及计算机可读存储介质，能够在数据分配严重不平衡时缩短整个MapReduce作业的完成时间。

本发明实施例提供一种基于MapReduce的数据分配方法，所述方法包括：

对输入的待处理文档运行预设Map函数，得到键值对集合；

利用预设计数方法计算所述键值对集合中键的类型数目；

利用预设算法计算键对应的标准数值；

对所述标准数值与所述类型数目进行取余计算，以将所述键值对集合中所述类型数目相同的键值对划分至一个分区中，得到至少一个分区，所述至少一个分区的个数与所述类型数目相同；

基于所述至少一个分区对应的至少一个分区键值对数量，和至少一个Reduce任务对应的至少一个待分配键值对数量，建立所述至少一个分区与所述至少一个Reduce任务的对应关系，以供所述至少一个Reduce任务对所述至少一个分区键值对进行处理。

在上述方法中，所述至少一个Reduce任务中的一个Reduce任务对应至少一个分区。

在上述方法中，所述利用预设计数方法计算所述键值对集合中键的类型数目，包括：

对所述键值对集合进行统计，得到相同键对应的键值对数量，将键以及所述键对应的所述键值对数量存储在一个关系组中；

获取关系组的组别数量；

将所述组别数量确定为所述类型数目。