[发明专利]一种资源分配方法及装置

说明书

本发明实施例公开了一种资源分配方法及装置。一种资源分配方法，应用于分布式计算系统，所述方法包括：接收待处理的第一作业；提取所述第一作业的特征信息；根据所述特征信息，从预先建立的历史作业记录库中，查询与所述第一作业相匹配的目标历史作业，其中，所述历史作业记录库中包括：历史作业的特征信息，该历史作业运行过程中占用的硬件资源的资源量；根据所述目标历史作业运行过程中占用的硬件资源的资源量，为所述第一作业分配硬件资源。应用上述技术方案，本发明实施例能够根据作业的特征信息，灵活地为该作业分配硬件资源，一方面保证了作业的正常运行，另一方面提高了分布式计算系统的资源利用率。

技术领域

本发明涉及分布式计算技术领域，特别涉及一种资源分配方法及装置。

背景技术

分布式计算系统是一种基于互联网的包含多台机器的计算机系统，它能够将一项作业分配给多台机器进行处理，解决了由互联网业务量的快速提高，用户访问量及数据流量的快速增长所带来单一机器数据处理瓶颈的问题。在分布式计算系统为互联网行业带来巨大便利的同时，如何能够高效地为该系统中的作业调度计算资源已成为分布式计算领域亟待解决的问题。

现有技术中，主要是通过为作业统一分配固定硬件资源的手段，来实现资源的调度。具体的，每项作业分配到的硬件资源量均相同，且该硬件资源量为一个固定的资源量。

然而，不同的作业需要消耗的硬件资源量不同，对于资源消耗量小的作业，可能会造成硬件资源的浪费，对于资源消耗量大的作业，可能会由于硬件资源不足，导致作业不能正常执行。

发明内容

为了解决上述问题，本发明实施例公开了一种资源分配方法及装置，具体技术方案如下：

一种资源分配方法，应用于分布式计算系统，所述方法包括：

接收待处理的第一作业；

提取所述第一作业的特征信息；

根据所述特征信息，从预先建立的历史作业记录库中，查询与所述第一作业相匹配的目标历史作业，其中，所述历史作业记录库中包括：历史作业的特征信息，该历史作业运行过程中占用的硬件资源的资源量；

根据所述目标历史作业运行过程中占用的硬件资源的资源量，为所述第一作业分配硬件资源。

可选的，所述预先建立的历史作业记录库中还包括：历史作业运行过程中占用的硬件资源的资源使用率；

在根据所述特征信息，从预先建立的历史作业记录库中，查询与所述第一作业相匹配的目标历史作业之后，还包括：

获取目标历史作业运行过程中占用的硬件资源的资源使用率；

判断所述目标历史作业运行过程中占用的硬件资源中，每一类硬件资源的资源使用率值是否均小于预设的、该类型硬件资源使用率阈值；

如果是，执行所述根据所述目标历史作业运行过程中占用的硬件资源的资源量，为所述第一作业分配硬件资源的步骤；

否则，针对所述目标历史作业占用的硬件资源中，存在瓶颈的硬件资源，使用预设的硬件资源计算方案，计算出：所述第一作业运行过程中需要的硬件资源的资源量，所述存在瓶颈的硬件资源为：资源量不小于所述预设的、硬件资源使用率阈值的硬件资源；

根据所述计算结果，为所述第一作业分配硬件资源。

可选的，所述根据计算结果，为所述第一作业分配硬件资源，包括：

检测分布式计算系统可用的硬件资源中每一类硬件资源的资源量是否均不小于所述计算结果中的该类型的硬件资源的资源量；

如果是，为所述第一作业分配：资源量为所述计算结果的硬件资源。