[发明专利]一种基于MapReduce的资源分配方法及服务器

说明书

本发明实施例公开了一种基于MapReduce的资源分配方法及服务器，该方法包括：获取待计算应用的数据规模和计算复杂度，该待计算应用的计算复杂度用于表征对该待计算应用进行计算时计算的复杂度；根据该数据规模和该计算复杂度估算在预先获取的期望时间内计算完该待计算应用所需要的计算资源的大小，估算出的计算资源的大小为目标大小；使用该目标大小的计算资源计算该待计算应用。采用本发明，能够合理分配计算资源。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于MapReduce的资源分配方法及服务器。

背景技术

Spark和Hadoop是Apache基金会开源的主流大数据计算引擎，Spark和Hadoop与资源协调者(英文：Yet Another Resource Negotiator，简称：YARN)构成典型的大数据计算系统，如图1所示，Hadoop和Spark提供大数据计算引擎，向应用(英文：Application)模块提供数据分析编程接口，该应用模块用于派发要进行计算的应用；YARN用于管理大数据计算集群。

实际应用中，多个应用会共享一个计算集群，Spark和Hadoop提供接口，由用户设置应用(或者称“任务”)对应的计算资源参数，计算资源通常有中央处理器(英文：CentralProcessing Unit，简称：CPU)核数、内存(英文：Memory，简称：MEM)等，YARN获取到对应参数后，应用linux的资源隔离机制，向应用提供所需的计算资源。例如，静态设置计算任务占用资源绝对数量，如分配4个CPU，2G内存；再如，静态设置计算任务占用的总资源比例，如设置计算任务CPU占用率上限为20％，内存上限为30％。另外，在静态配置Spark资源之后，YARN也可能提供额外的资源调度策略，以便合理利用空闲的计算资源，但这种机制在多任务竞争资源的情况下，仍然是建立在静态配置基础上，无本质变化。

现有技术的缺陷在于，应用所需要的计算资源与该应用的数据量大小、任务的复杂程度有关，用户静态指定该任务的计算资源时，并不知道应该分配多少计算资源才能满足应用计算的要求，因此静态配置方式会导致资源利用率不高，以及计算应用的时间跟预期时间不相符。

发明内容

本发明实施例公开了一种基于映射/归约MapReduce的资源分配方法及服务器，能够合理分配计算资源。

第一方面，本发明实施例提供了一种基于映射/归约MapReduce的资源分配方法，该方法包括：获取待计算应用的数据规模和计算复杂度，该待计算应用的计算复杂度用于表征对该待计算应用进行计算时计算的复杂度；根据该数据规模和该计算复杂度估算在预先获取的期望时间内计算完该待计算应用所需要的计算资源的大小，估算出的计算资源的大小为目标大小；使用该目标大小的计算资源计算该待计算应用。

通过执行上述步骤，服务器不是直接基于用户静态输入的计算资源的资源大小来为待计算应用分配计算资源，而是该服务器自身结合该计算资源的数据规模、计算复杂度等信息评估计算该待计算应用所需要的计算资源的资源大小，例如，以已经计算完成的应用所用的计算资源、计算过程所花时间、数据估摸、计算复杂度等信息来实时评估对该待计算应用进行计算所需要的计算资源的资源大小，然后使用该资源大小的计算资源计算该待计算应用，能够提高计算资源的利用率，以及更准确把控计算过程所花的时间。

结合第一方面，在第一方面的第一种可能的实现方式中，根据该数据规模和该计算复杂度估算在预先获取的期望时间内计算完该待计算应用所需要的计算资源的大小之前，还包括：获取包含该期望时间的指示消息，该指示消息用于指示在该期望时间内计算完该待计算应用。