[发明专利]一种基于预测的Map/Reduce数据处理平台内存资源动态分配方法

说明书

一种基于预测的Map/Reduce数据处理平台内存资源动态分配方法，分配方法分为五个步骤，初始化、任务内存资源使用预测、任务内存资源释放、任务内存资源追加和回溯。本方法针对Map任务和Reduce任务在运行过程中内存资源使用量具有明显波动性的特征，根据Map任务和Reduce任务运行过程中的内存使用量历史记录，采用线性回归和t检验法，统计任务内存使用规律，预测任务后续运行中需要使用的内存量，并根据任务内存使用预测量，动态追加或减少正在运行的Map任务和Reduce任务的内存分配量，从而有效提高Map/Reduce平台内存资源的使用效率，提升Map/Reduce作业的执行效率。

技术领域

本发明属于分布式计算领域，具体涉及Map/Reduce型海量数据处理平台中内存资源的使用预测与动态分配方法。

背景技术

Map/Reduce是一种新型的并行计算模型，已被广泛应用于海量数据处理领域。内存是支撑Map/Reduce应用运行的重要计算资源。在实际运行中，一个Map/Reduce应用是由一个或多个Map/Reduce作业组成。每个Map/Re duce作业的执行通常包含一个Map阶段和一个Reduce阶段。其中，Map阶段和Reduce阶段可分别映射为多个Map任务进程和Reduce任务进程并行执行。Map/Reduce应用的运行平台(以下简称“Map/Reduce平台”)以任务为单位为Map/Reduce应用分配其运行所需的内存资源。

由于Map/Reduce应用普遍具有大数据处理的特征，是否分配充足的内存资源，已成为制约Map/Reduce应用执行效率的关键因素。目前，Ma p/Reduce平台对内存资源的分配通常采用以用户设置为导向的方法，即用户在Map任务和Reduce任务运行前或运行中主动发起内存资源申请请求，给出确定的内存资源需求量，Map/Reduce平台根据用户指定的需求量为其分配或追加内存资源；任务一旦获得内存资源将持续占用，直至任务运行结束，或在其他运行任务需要追加内存资源时被动释放。

然而，上述方法运用于实际Map/Reduce生产性平台存在如下问题： Map任务和Reduce任务在其运行过程中对内存资源的使用量往往具有显著的波动性，用户对任务的内存资源的实际消耗需求难以准确把握。因此，在Map/Reduce平台中采用以用户设置为导向的内存分配方法，导致用户过量申请内存资源是客观存在的事实。同时，在既有以用户设置为导向的方法中，任务无法将其过量占有的内存资源主动释放出来以供待调度的M ap任务和Reduce任务使用。这使得待调度任务由于无法获得初始内存分配而延迟启动执行，从而大大降低了平台的任务吞吐率和内存资源的利用率。此外，以用户设置为导向的方法难以防止恶意用户过度申请内存资源，从而导致平台资源恶意竞争的现象。

发明内容

本发明方法针对Map和Reduce任务在运行过程中内存资源使用量具有明显波动性的特征，根据Map任务和Reduce任务运行过程中的内存使用量历史记录，采用线性回归和t检验法，统计任务内存使用规律，预测任务后续运行中需要使用的内存量，并根据任务内存使用预测量，动态追加或减少正在运行的Map任务和Reduce任务的内存分配量，从而有效提高 Map/Reduce平台内存资源的使用效率，提升Map/Reduce作业的执行效率。

本发明所述的内存资源分配方法分为五个步骤：初始化、任务内存资源使用预测、任务内存资源释放、任务内存资源追加和回溯。在本方法中，有五个基本的参数：预测函数拟合次数阈值C_max、任务内存资源追加判断阈值U_a、任务内存资源释放判断阈值U_r、内存追加量计算时间步长τ、任务抢占优先级权值比例θ。C_max一般取值在3～5之间，U_a取值在0.1～0.5之间， U_r取值在0.5～1之间，τ取值在5～10秒，θ取值在0～1之间。

上述方法在计算机上按以下步骤实现：