[发明专利]资源消耗计量方法、装置、电子设备及存储介质

说明书

本公开实施例公开了一种资源消耗计量方法、装置、电子设备、存储介质及程序产品，所述方法包括：响应于资源消耗计量请求，确定资源使用方在预设时间周期内所发起的资源使用任务；从YARN资源管理系统获取所述资源使用任务的资源消耗情况；所述YARN资源管理系统用于对所述资源使用任务分配资源；根据所述资源使用任务在所述预设时间周期内对应的资源消耗情况，确定所述资源使用方在所述预设时间周期内对大数据集群资源的总消耗情况。该技术方案可以按照时间周期统计每个资源使用方对资源的消耗情况，能够解决已有技术资源消耗统计不准确以及统计效率低下的问题。

技术领域

本公开实施例涉及大数据技术领域，具体涉及一种资源消耗计量方法、装置、电子设备及存储介质。

背景技术

在大数据集群领域，下游对大数据集群的使用主要体现为两种形式：离线分析查询和在线调度计算。已有技术中，以往对各部门的占用成本计量只依托简单的数字，比如查询次数、调度脚本数、调度频率，但不同的查询和计算脚本对集群的资源消耗是大相径庭的，所以根本无法对各部门集群资源的消耗进行精准计量，在成本计算时容易出现各类分歧和争执。

发明内容

本公开实施例提供一种资源消耗计量方法、装置、电子设备及存储介质。

第一方面，本公开实施例中提供了一种资源消耗计量方法，包括：

响应于资源消耗计量请求，确定资源使用方在预设时间周期内所发起的资源使用任务；

从YARN资源管理系统获取所述资源使用任务的资源消耗情况；所述YARN资源管理系统用于对所述资源使用任务分配资源；

根据所述资源使用任务在所述预设时间周期内对应的资源消耗情况，确定所述资源使用方在所述预设时间周期内对大数据集群资源的总消耗情况。

进一步地，所述方法还包括：

获取所述资源使用方对大数据集群资源的前端操作；

将所述前端操作映射至所述YARN资源管理系统的所述资源使用任务。

进一步地，将所述前端操作映射至所述YARN资源管理系统的所述资源使用任务之后，还包括：

建立所述前端操作与所述资源使用任务之间的关联关系。

进一步地，从YARN资源管理系统获取所述资源使用任务的资源消耗情况，包括：

向所述YARN资源管理系统发送获取所述资源使用任务的资源消耗情况的请求；

接收所述YARN资源管理系统返回的所述资源消耗情况。

进一步地，响应于资源消耗计量请求，确定资源使用方在预设时间周期内所发起的所述资源使用任务，包括：

确定所述资源使用方在预设时间周期内产生的所述前端操作；

根据所述前端操作与所述关联关系确定所述资源使用方在预设时间周期内发起的所述资源使用任务。

进一步地，根据所述资源使用任务在所述预设时间周期内对应的资源消耗情况，确定所述资源使用方在所述预设时间周期内对大数据集群资源的总消耗情况，包括：

确定所述资源使用方在所述预设时间周期内产生的所述前端操作以及所述前端操作的类型；

针对不同的所述类型，确定所述前端操作对应的所述资源使用任务对大数据集群资源的总消耗情况。

进一步地，所述前端操作的类型包括离线查询操作和在线调度操作。

第二方面，本公开实施例中提供了一种资源消耗计量方法，包括：

YARN资源管理系统创建资源使用任务，并为所述资源使用任务分配大数据集群资源；