[发明专利]大数据资源分配方法、装置、设备及介质

权利要求书

1.一种大数据资源分配方法，其特征在于，所述大数据资源分配方法包括：

响应于大数据资源分配指令，根据所述大数据资源分配指令获取待处理队列；

获取所述待处理队列的历史资源消耗数据；

分析所述待处理队列的历史资源消耗数据，得到所述待处理队列的至少一个指标值；

根据所述至少一个指标值构建至少一个队列组；

当接收到待分配队列时，从所述至少一个队列组中识别与所述待分配队列对应的队列组作为目标队列组；

调用Yarn组件检测所述目标队列组中的资源利用率；

根据所述资源利用率为所述待分配队列分配大数据资源。

2.如权利要求1所述的大数据资源分配方法，其特征在于，所述根据所述大数据资源分配指令获取待处理队列包括：

解析所述大数据资源分配指令的方法体，得到所述大数据资源分配指令所携带的信息；

获取预设标签；

根据所述预设标签构建正则表达式；

利用所述正则表达式在所述大数据资源分配指令所携带的信息中进行遍历，并将遍历到的数据确定为目标地址；

链接至所述目标地址，并从所述目标地址处获取数据作为所述待处理队列。

3.如权利要求1所述的大数据资源分配方法，其特征在于，所述分析所述待处理队列的历史资源消耗数据，得到所述待处理队列的至少一个指标值包括：

识别所述待处理队列中每个待处理队列的队列标识；

从所述历史资源消耗数据中获取与每个待处理队列的队列标识相同的数据作为每个待处理队列的历史资源消耗数据；

调用所述Yarn组件分析每个待处理队列的历史资源消耗数据，得到每个待处理队列的最低基准线、最高基准线及消耗均值；

整合每个待处理队列的最低基准线、最高基准线及消耗均值作为所述待处理队列的至少一个指标值。

4.如权利要求3所述的大数据资源分配方法，其特征在于，所述方法还包括：

建立所述待处理队列的公共资源池；

获取每个待处理队列的当前分配资源；

对比每个待处理队列的当前分配资源与每个待处理队列的最高基准线；

当检测到有待处理队列的当前分配资源高于对应的最高基准线时，将检测到的待处理队列确定为第一队列；

向指定终端发送鉴权请求；

当接收到所述指定终端反馈的通过鉴权的信号时，计算所述第一队列的当前分配资源与对应的最高基准线的差值作为所述第一队列的可转移资源；

将所述可转移资源回收至所述公共资源池。

5.如权利要求3所述的大数据资源分配方法，其特征在于，所述根据所述至少一个指标值构建至少一个队列组包括：

获取每个待处理队列的预算；

计算每个待处理队列的预算与每个待处理队列的消耗均值的差值，作为每个待处理队列的第一数值；

计算每个待处理队列的最高基准线与每个待处理队列的预算的差值，作为每个待处理队列的第二数值；

计算每个待处理队列的预算与每个待处理队列的最低基准线的差值，作为每个待处理队列的第三数值；

将所述第一数值与所述第二数值相同，及/或所述消耗均值与所述第三数值相同的队列划分为一个队列组；

整合划分的所有队列组，得到所述至少一个队列组。

6.如权利要求1所述的大数据资源分配方法，其特征在于，所述根据所述资源利用率为所述待分配队列分配大数据资源包括：

获取所述目标队列组中所述资源利用率最低的队列作为目标队列；

检测所述目标队列的闲置资源；

将所述目标队列的闲置资源转移至所述待分配队列。