[发明专利]一种MapReduce动态设定slots数量的方法

摘要

本发明提供一种MapReduce动态设定slots数量的方法，包括以下步骤首先根据集群中的节点计算能力设定slots数量；然后再根据每个节点中的内存情况适当地调整slots的数量。该一种MapReduce动态设定slots数量的方法和现有技术相比，可以提升mapreduce程序运行性能,优化资源的合理利用，实用性强，易于推广。

主权项

一种MapReduce动态设定slots数量的方法，其特征在于其具体设定过程为：首先确定集群节点中CPU的数量，然后根据每个节点中CPU的核心的数量由主从模式框架MapReduce动态设定决定slots数量：根据job队列和TaskTracker节点的资源情况作为输入，其中TaskTracker的资源情况包括CPU的核心数量及节点的内存大小，然后再根据节点的计算能力设定slots数量；在主‑从模式框架MapReduce的主节点上运行JobTracker,其负责监控机群，任务调度；从节点上运行TaskTracker，其负责监控任务执行，报告进度；确定MapReduce的输入文件或目录是否在文件系统File system上存在，当MapReduce依赖于HDFS时，先将本地的文件上传到HDFS上：Client向JobTracker申请一个Jobid来作为job的标识符；然后MapReduce将job执行资源文件复制到HDFS上；然后再进行作业job提交过程，对输入文件做数据分片；初始化作业，JobTracker负责分发任务给TaskTracker，TaskTracker定期向JobTracker 发送心跳信息，该信息中携带本节点的资源使用情况，即TaskTracker的状态数据、TaskTracker上task执行状态及希望从JobTracker得到可以执行的task；在心跳到达时，主节点中的调度发生，若TaskTracker 报告自己有空闲资源， 则JobTracker 使用调度算法选择一个任务发射到该节点运行。