[发明专利]一种资源分配方法及装置

说明书

技术领域

本发明涉及网络资源的技术领域，特别是涉及一种资源分配方法及装置。

背景技术

在进行分布式计算任务时需要保障运行所需的各类资源，并且资源是否充足在一定程度上会影响运行的速度以及进度，其中，运行所需的各类资源包括存储资源、带宽、CPU、内存等多种，并且研究发现各类资源对于同一类型的分布式计算任务的资源消耗量往往具有规律性。目前来说，在进行分布式计算任务前往往需要用户自己确定该任务所需的各类资源的资源量并在资源管理系统中进行申请，资源管理系统根据用户申请的资源量进行资源的分配。但是，通过用户自己确定各类资源的资源量从而分配资源的方式会导致资源分配不合理，该不合理具体体现在：申请的资源过多会造成系统资源的浪费，申请的资源不足造成任务运行缓慢甚至中断。

此外，现有技术中还可以基于阈值对资源进行分配，该分配方法中预留有一部分可以随时进行调取的弹性资源，当分布式计算任务执行过程中资源的剩余量达到预设的阈值时再进行资源的调取。然而，有时任务运行过程中资源消耗太快，在达到预设阈值时已来不及调取资源，导致资源不足，从而使得任务的运行进程缓慢甚至无法运行。

发明内容

本发明实施例的目的在于提供一种资源分配方法及装置，从而解决资源分配不合理的问题。具体技术方案如下：

第一方面，本发明实施例提供了一种资源分配方法，应用于资源管理系统，所述方法包括：

在目标任务执行过程中，获取本次执行所述目标任务过程中所消耗的各类资源的历史消耗量；

根据所获取到的所述各类资源的历史消耗量，计算本次执行所述目标任务过程中所需消耗的所述各类资源的总量；

根据计算得到的所述各类资源的总量，调整为本次执行所述目标任务所分配的所述各类资源的资源量。

可选地，所述在目标任务执行过程中，获取本次执行所述目标任务过程中所消耗的各类资源的历史消耗量的步骤，包括：

在所述目标任务执行过程中，在预设时间点获取本次执行所述目标任务过程中所消耗的所述各类资源的历史消耗量。

可选地，所述计算本次执行所述目标任务过程中所需消耗的所述各类资源的总量所利用的公式为：

其中，M_i为本次执行所述目标任务所需消耗的资源i的总量，P为所述目标任务的数据规模，N_i为本次已执行所述目标任务过程中所消耗的所述资源i的历史消耗量，B为本次所述目标任务已完成的数据规模，其中，所述资源i为所述各类资源中的任一种资源。

可选地，在所述目标任务执行前，所述方法还包括：

确定本次执行所述目标任务所需的所述各类资源的初始总量；

按照所确定出的所述初始总量，为所述目标任务分配所述各类资源。

可选地，所述确定本次执行所述目标任务所需的所述各类资源的初始总量的步骤，包括：

根据至少一个历史任务中所述各类资源的消耗总量，计算本次执行所述目标任务所需的所述各类资源的初始总量，所述历史任务为与所述目标任务的类型相同的已完成的任务；或者，

获得用户指定的、本次执行所述目标任务所需的所述各类资源的初始总量。

可选地，所述根据至少一个历史任务中所述各类资源的消耗总量，计算本次执行所述目标任务所需的所述各类资源的初始总量所利用的公式如下：

其中，S_i为本次执行所述目标任务所需的资源i的初始总量，P为所述目标任务的数据规模，m_i为所述至少一个历史任务中所述资源i的消耗总量之和，n为所述历史任务中的数据规模之和。

可选地，所述调整为本次执行所述目标任务所分配的所述各类资源的资源量的步骤，包括：

将计算得到的所述各类资源的总量与最新所分配的相应资源的实际总量作差，得到所述各类资源对应的资源量差值；

根据所述各类资源对应的资源量差值分别确定为所述各类资源对应的资源调整量；

按照所述各类资源对应的资源调整量，对所述各类资源的资源量进行调整。

可选地，所述目标任务为按预设时间点执行的定时任务。

可选地，所述各类资源包括内存资源、中央处理器CPU资源、带宽资源和存储资源中的至少一种。

第二方面，本发明实施例提供了一种资源分配装置，其特征在于，应用于资源管理系统，所述装置包括：

获取模块，用于在目标任务执行过程中，获取本次执行所述目标任务过程中所消耗的各类资源的历史消耗量；