[发明专利]一种基于用户行为分析的Hadoop集群作业调度方法及装置

权利要求书

1.一种基于用户行为分析的Hadoop集群作业调度方法，其特征在于，包括以下步骤：

步骤1：收集Hadoop集群产生的用于记录各资源组提交的作业的日志文件，根据日志文件创建日志数据表，将日志数据表存储于数据库中，并定时将存储于数据库中的日志数据表转存到Hive集群中；

步骤2：根据存储于Hive集群中的日志数据表，得到每个资源组在任一时间区间内提交作业的作业数量；

步骤3：根据存储于Hive集群中的日志数据表，得到各资源组提交作业的作业类型；

步骤4：根据每个资源组提交作业的作业类型和该资源组提交作业的作业数量占所有资源组提交作业的作业数量的比例，确定各资源组的最小资源占用限额；

步骤5：在资源组提交作业后，根据该资源组对应的最小资源占用限额调度大于等于最小资源占用限额的资源进行处理提交的作业。

2.根据权利要求1所述的Hadoop集群作业调度方法，其特征在于：所述作业类型包括作业的大小和作业的资源占用量。

3.根据权利要求1所述的Hadoop集群作业调度方法，其特征在于：当删除任一资源组时，将该资源组所占用的资源按其他未被删除的资源组提交作业的作业数量占所有资源组提交作业的作业数量的比例，分配给其他未被删除的资源组。

4.根据权利要求1所述的Hadoop集群作业调度方法，其特征在于：当增加任一资源组时，为该增加的资源组分配一个默认的最小资源占用限额，随着该增加的资源组提交的作业的作业数量的变化，重新计算每个资源组的最小资源占用限额。

5.根据权利要求1所述的Hadoop集群作业调度方法，其特征在于：所述数据库，用于存储实时查询各个作业的执行状态的日志数据表；所述Hive集群，用于永久保存日志数据表。

6.一种基于用户行为分析的Hadoop集群作业调度装置，其特征在于：包括Hadoop集群(1)，收集创建模块(2)，数据库(3)，转存模块(4)，Hive集群(5)，计算模块(6)和调度模块(7)；

所述Hadoop集群(1)，用于产生用于记录各资源组提交的作业的日志文件；

所述收集创建模块(2)，用于收集Hadoop集群产生的日志文件，根据日志文件创建日志数据表，将日志数据表存储于数据库中；

所述数据库(3)，用于存储创建模块(2)发送的日志数据表；

所述转存模块(4)，用于定时将存储于数据库中的日志数据表转存到Hive集群中；

所述Hive集群(5)，用于存储转存模块(4)发送的日志数据表；

所述计算模块(6)，用于根据存储于Hive集群中的日志数据表，得到每个资源组在任一时间区间内提交作业的作业数量；根据存储于Hive集群中的日志数据表，得到各资源组提交作业的作业类型；根据每个资源组提交作业的作业类型和该资源组提交作业的作业数量占所有资源组提交作业的作业数量的比例，确定各资源组的最小资源占用限额；

所述调度模块(7)，用于在资源组提交作业后，根据该资源组对应的最小资源占用限额调度大于等于最小资源占用限额的资源进行处理提交的作业。

7.根据权利要求6所述的Hadoop集群作业调度装置，其特征在于：所述作业类型包括作业的大小和作业的资源占用量。

8.根据权利要求6所述的Hadoop集群作业调度装置，其特征在于：当删除任一资源组时，将该资源组所占用的资源按其他未被删除的资源组提交作业的作业数量占所有资源组提交作业的作业数量的比例，分配给其他未被删除的资源组。

9.根据权利要求6所述的Hadoop集群作业调度装置，其特征在于：当增加任一资源组时，为该增加的资源组分配一个默认的最小资源占用限额，随着该增加的资源组提交的作业的作业数量的变化，重新计算每个资源组的最小资源占用限额。

10.根据权利要求6所述的Hadoop集群作业调度装置，其特征在于：所述数据库，用于存储实时查询各个作业的执行状态的日志数据表；所述Hive集群，用于永久保存日志数据表。