[发明专利]提升数据仓库工具资源利用率的方法和装置

权利要求书

1.一种提升数据仓库工具资源利用率的方法，其特征在于，针对数据仓库工具发起的任务进行资源占用分析，包括：

在任务提交之前，分析所述任务的预计资源占用，若所述预计资源占用超过预设占用阈值一，则拒绝执行所述任务；和/或

在任务执行过程中，监控所述任务的实际资源占用，若所述实际资源占用超过预设占用阈值二，则认定所述任务为无效任务并做结束处理。

2.根据权利要求1所述的方法，其特征在于，所述预设占用阈值一包括如下一种或几种：任务任意阶段的数据大小阈值M、表的待处理数据大小阈值N、表数据合并过程中产生的临时数据表的数据大小阈值Q。

3.根据权利要求1所述的方法，其特征在于，所述预设占用阈值二包括如下一种或几种：任务执行过程中产生的临时文件大小阈值V、任务所占用的服务器的内存消耗阈值W、任务所占用的服务器的网络带宽占用阈值X、任务执行时长阈值Y、任务的子任务执行时长阈值Z。

4.根据权利要求2所述的方法，其特征在于，分析所述任务的预计资源占用，若所述预计资源占用超过预设占用阈值一，则拒绝执行所述任务包括：

获取并解析任务的执行计划，以获取任务各阶段的数据大小；

若任意阶段的数据大小超过阈值M时，则认定所述任务为无效任务并拒绝执行；和/或

若任务中某表的待处理数据大小超过阈值N时，则获取所述表的总数据大小，若所述阈值N超过所述表的总数据大小的1/2，则认定所述任务为无效任务并拒绝执行；和/或

若执行计划内表数据合并过程中产生的临时数据表的数据大小超过阈值Q，且任务不属于前述两种认定情况，则所述临时数据表的总数据条数大于待合并的表中最小表的数据条数的L倍时，认定所述任务为无效任务并拒绝执行。

5.根据权利要求3所述的方法，其特征在于，监控所述任务的实际资源占用，若所述实际资源占用超过预设占用阈值二，则认定所述任务为无效任务并做结束处理包括：

若所述任务执行过程中产生的临时文件大小超过阈值V，则认定所述任务为无效任务并做结束处理；和/或

统计所述任务所占用所有服务器的实时内存消耗，若其中一台服务器的实时内存消耗超过阈值W，则认定所述任务为无效任务并做结束处理；和/或

统计所述任务所占用所有服务器的网络带宽占用，若其中一台服务器的网络带宽占用超过阈值X，则认定所述任务为无效任务并做结束处理；和/或

若所述任务的执行时长超过阈值Y，则认定所述任务为无效任务并做结束处理；和/或

若所述任务中剩余的子任务的个数小于等于2，且剩余的子任务的执行时长超过阈值Z，则认定所述任务为无效任务并做结束处理；和/或

若所述任务出现数据倾斜，则认定所述任务为无效任务并做结束处理。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：设置白名单，用以标记无需进行资源占用分析的任务。

7.一种提升数据仓库工具资源利用率的装置，其特征在于，所述装置用以针对数据仓库工具发起的任务进行资源占用分析，包括：

任务执行计划分析模块，用于在任务提交之前，分析所述任务的预计资源占用，若所述预计资源占用超过预设占用阈值一，则拒绝执行所述任务；和/或

任务资源使用分析模块，用于在任务执行过程中，监控所述任务的实际资源占用，若所述实际资源占用超过预设占用阈值二，则认定所述任务为无效任务并做结束处理。

8.根据权利要求7所述的装置，其特征在于，所述预设占用阈值一包括如下一种或几种：任务任意阶段的数据大小阈值M、表的待处理数据大小阈值N、表数据合并过程中产生的临时数据表的数据大小阈值Q。

9.根据权利要求7所述的装置，其特征在于，所述预设占用阈值二包括如下一种或几种：任务执行过程中产生的临时文件大小阈值V、任务所占用的服务器的内存消耗阈值W、任务所占用的服务器的网络带宽占用阈值X、任务执行时长阈值Y、任务的子任务执行时长阈值Z。