[发明专利]一种资源分配方法、相关设备及系统

摘要

本发明实施例公开了一种计算资源分配方法、相关设备及基于映射/归约MapReduce的分布式系统，系统包括管理节点和目标计算节点，其中：管理节点用于获取M个计算任务并根据M个计算任务的数据大小建立资源评估模型；将M个计算任务中的部分计算任务和资源评估模型的信息发送给目标计算节点；目标计算节点用于接收管理节点发送的部分计算任务和资源评估模型的信息；在执行目标任务的每个计算阶段前将计算阶段的输入数据代入到资源评估模型以计算计算阶段所需要的计算资源的资源大小；通过预设资源池中该资源大小的计算资源计算输入数据。采用本发明，能够提高计算资源的利用率。

主权项

一种基于映射/归约MapReduce的分布式系统，其特征在于，所述系统包括管理节点和目标计算节点，其中：所述管理节点用于获取M个计算任务并根据所述M个计算任务的数据大小建立资源评估模型；将所述M个计算任务中的部分计算任务和所述资源评估模型的信息发送给目标计算节点，所述部分计算任务中的每个计算任务需要经过P个计算阶段计算，M大于1，P大于1；所述目标计算节点用于接收所述管理节点发送的所述部分计算任务和所述资源评估模型的信息；根据所述资源评估模型的信息得到所述资源评估模型，在执行目标任务的每个计算阶段前将所述计算阶段的输入数据代入到所述资源评估模型以计算所述计算阶段所需要的计算资源的资源大小；通过预设资源池中所述资源大小的计算资源计算所述输入数据，所述目标任务为所述部分计算任务中的任意一个计算任务。