[发明专利]用于Hadoop平台的计费系统及方法

权利要求书

1.一种用于Hadoop平台的计费系统，其特征在于，

Hadoop平台包括：映射化简MapReduce系统和分布式文件系统HDFS，所述计费系统包括：资源统计模块、配置模块、计费模块，

所述资源统计模块，用于统计所述MapReduce系统的计算任务的资源使用情况和所述HDFS的存储空间占用情况，生成所述计算任务的资源使用日志，并向所述计费模块发送所述计算任务的资源使用日志；

所述配置模块，用于根据预设计费因素，确定资源单价和计费策略，并向所述计费模块发送所述资源单价和所述计费策略；

所述计费模块，用于根据接收到的资源使用日志、资源单价和计费策略，生成所述计算任务的计费报表；

所述资源统计模块包括：资源统计单元、空间统计单元、日志生成单元，

所述资源统计单元，用于以第一预设时长为周期，统计所述资源使用情况，并向所述日志生成单元发送所述资源使用情况；

所述空间统计单元，用于以第二预设时长为周期，统计所述存储空间占用情况，并向所述日志生成单元发送所述存储空间占用情况；

所述日志生成单元，用于接收所述资源使用情况和所述存储空间占用情况，生成所述计算任务的资源使用日志，并向所述计费模块发送所述资源使用日志；

其中，所述存储空间占用情况包括所述计算任务所需的元数据占用的存储空间情况和当前所述计算任务的中间数据所占用的存储空间情况，在统计所述存储空间占用情况时，获取所述中间数据所占用的存储空间情况的周期小于获取所述元数据占用的存储空间情况的周期。

2.根据权利要求1所述的系统，其特征在于，所述空间统计单元包括：接口调用子单元、空间统计子单元，

所述接口调用子单元，用于以所述第二预设时长为周期，调用所述HDFS的主节点NameNode的接口，获取存储空间占用情况，并向所述空间统计子单元发送所述存储空间占用情况；

所述空间统计子单元，用于对接收到的存储空间占用情况进行统计，并向所述日志生成单元发送所述存储空间占用情况。

3.根据权利要求1所述的系统，其特征在于，所述MapReduce系统包括主节点Master和至少一个工作节点Worker，相应地，所述资源统计单元包括：每个Worker对应的资源采集子单元、每个Worker对应的资源统计子单元，

所述资源采集子单元，用于以第三预设时长为周期，采集对应Worker的资源使用情况，并以所述第一预设时长为周期，向所述资源统计子单元发送所述资源使用情况，所述第三预设时长小于所述第一预设时长；

所述资源统计子单元，用于对接收到的资源使用情况进行统计，并向所述日志生成单元发送所述资源使用情况。

4.一种用于Hadoop平台的计费方法，其特征在于，Hadoop平台包括：映射化简MapReduce系统和分布式文件系统HDFS，所述计费方法包括：

统计所述MapReduce系统的计算任务的资源使用情况和所述HDFS的存储空间占用情况，生成所述计算任务的资源使用日志；

根据预设计费因素，确定资源单价和计费策略；

根据所述资源使用日志、所述资源单价和所述计费策略，生成所述计算任务的计费报表；

统计所述MapReduce系统的计算任务的资源使用情况和所述HDFS的存储空间占用情况，生成所述计算任务的资源使用日志，包括：

以第一预设时长为周期，统计所述资源使用情况；

以第二预设时长为周期，统计所述存储空间占用情况；

根据所述资源使用情况和所述存储空间占用情况，生成所述计算任务的资源使用日志；

其中，所述存储空间占用情况包括所述计算任务所需的元数据占用的存储空间情况和当前所述计算任务的中间数据所占用的存储空间情况，在统计所述存储空间占用情况时，获取所述中间数据所占用的存储空间情况的周期小于获取所述元数据占用的存储空间情况的周期。

5.根据权利要求4所述的方法，其特征在于，以第一预设时长为周期，统计所述资源使用情况包括：

以第三预设时长为周期，采集所述资源使用情况，所述第三预设时长小于所述第一预设时长；

以所述第一预设时长为周期，对所述资源使用情况进行统计。