[发明专利]一种MapReduce动态设定slots数量的方法

说明书

技术领域

本发明涉及计算机技术领域，具体的说是一种MapReduce动态设定slots数量的方法。

背景技术

如今的互联网技术不断发展，数据成爆炸式增长，网络上数据规模急剧增加，混乱的数据中蕴藏着巨大的商机，可以从海量的数据中提取价值。但随之而来的问题是单机的数据处理能力无法满足当今海量数据应用的处理要求，基于大规模计算集群的分布式计算成为未来数据性能提升的主要途径。针对Hadoop的核心技术MapReduce计算模型进行研究，针对MapReduce中每个节点中默认设定相同个数的map、reduce数量问题提出了一种MapReduce动态设定slots数量的策略。根据集群中不同节点的硬件配置不同设置不同的map数量和reduce数量。

目前对于mapreduce中map个数和reduce个数设定如下：map task的数量即mapred.tasktracker.map.tasks.maximu的参数值，但一个TaskTracker能配置多少个slot，还是与它的物理环境有关。每个task是由新启动的JVM独立执行，有多个task的时候就会有多个JVM，每个JVM消耗一部分内存，再加上DataNode和TaskTracker的内存消耗，机器内存可能就会不够用。这样除了考虑调配每个新启动JVM的内存限制外，还得关注下到底需要多少个新启动JVM，也就是map slot 和 reduce slot的数目。它们的设置还与机器的处理器数目有关。具体的配置还得从集群的实际运行效果来观察和分析。Input Split的大小，决定了一个Job拥有多少个map。然而，如果输入的数据量巨大，那么默认的block会有几万甚至几十万的Map Task，集群的网络传输会很大，最严重的是给Job Tracker的调度、队列、内存都会带来很大压力。因此要设定适当地符合机器计算能力的slots数量。

在Hadoop中，使用slot表示各个TaskTraker上的资源，一个slot代表固定的资源组合，在执行mapreduce程序时，每个TaskTracker上的Map slot个数及Reduce slot个数是通过mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum进行配置。这两个参数一旦配置后，不能动态修改。由于不同作用的任务需要的资源量不同，集群中的节点硬件配置也不尽相同，因此，针对节点资源的不同，提出一种 MapReduce动态设定slots数量的策略。该策略可以根据节点计算能力动态设定slot数量，提高MapReduce程序执行的性能。

发明内容

本发明的技术任务是解决现有技术的不足，提供一种MapReduce动态设定slots数量的方法。

本发明的技术方案是按以下方式实现的，该一种MapReduce动态设定slots数量的方法，其具体设定过程为：

首先确定集群节点中CPU的数量，然后根据每个节点中CPU的核心的数量由主从模式框架MapReduce动态设定决定slots数量：根据job队列和TaskTracker节点的资源情况作为输入，其中TaskTracker的资源情况包括CPU的核心数量及节点的内存大小，然后再根据节点的计算能力设定slots数量；

在主-从模式框架MapReduce的主节点上运行JobTracker,其负责监控机群，任务调度；从节点上运行TaskTracker，其负责监控任务执行，报告进度；

TaskTracker定期向JobTracker 发送心跳信息，该信息中携带本节点的资源使用情况；

在心跳到达时，主节点中的调度发生，若TaskTracker 报告自己有空闲资源， 则JobTracker 使用调度算法选择一个任务发射到该节点运行。