[发明专利]MapReduce参数的动态确定方法及装置

权利要求书

1.一种MapReduce参数的动态确定方法，其特征在于，包括：

获取MapReduce作业请求，所述MapReduce作业请求包括待作业数据集、预设的Reduce任务的数量以及用于表示是否允许启动Reduce任务数量的调整机制的参数；

若所述用于表示是否允许启动Reduce任务数量的调整机制的参数为允许，则监控Map任务的执行；

若已执行的Map任务的数量满足预设的第一阈值，所述已执行的Map任务的输出结果映射到预设的Reduce任务的数量的分区，则确定调整后的Reduce任务的数量；

根据所述调整后的Reduce任务的数量，将各未执行的预设Reduce任务对应到各调整后的Reduce任务，以使执行各调整后的Reduce任务。

2.根据权利要求1所述的方法，其特征在于，所述确定调整后的Reduce任务的数量，具体包括：

根据未执行的Reduce任务的数据总量，确定调整后的Reduce任务的数量。

3.根据权利要求2所述的方法，其特征在于，所述根据未执行的Reduce任务的数据总量，确定调整后的Reduce任务的数量，具体包括：

根据以下公式，确定调整后的Reduce任务的数量：

∂(TR)∂(n)+∂(TRS)∂(n)=0;]]>

其中，n为调整后的Reduce任务的数量，TR为执行调整后的一个Reduce任务的时间成本，TRS为执行调整后的所有Reduce任务的总时间成本，TR取决于未执行的Reduce任务的数据总量和调整后的Reduce任务的数量。

4.根据权利要求1所述的方法，其特征在于，所述MapReduce作业请求还包括用于提前调度Reduce任务执行的预设的第二阈值，若所述第二阈值小于所述第一阈值，则所述若已执行的Map任务的数量满足预设的第一阈值之前，还包括：

若所述已执行的Map任务的数量满足所述第二阈值且不满足预设的第一阈值，则监控预设Reduce任务的执行，每个预设Reduce任务分别对应所述预设的Reduce任务的数量的分区中的一个分区；

所述若已执行的Map任务的数量满足预设的第一阈值之后，还包括：

指示停止执行未执行的预设Reduce任务。

5.根据权利要求1～4中任一项所述的方法，其特征在于，所述预设的第一阈值为预设的Map任务的数量阈值或预设的比值，所述若所述已执行的Map任务的数量满足预设的第一阈值，则确定调整后的Reduce任务的数量，具体为：

若所述已执行的Map任务的数量满足所述预设的Map任务的数量阈值，则启动Reduce任务数量的调整机制，确定调整后的Reduce任务的数量；或者，

若所述已执行的Map任务的数量与Map任务的总数量之间的比值满足预设的比值，则启动Reduce任务数量的调整机制，确定调整后的Reduce任务的数量，所述Map任务的总数量根据所述待作业数据集确定。