[发明专利]基于大数据环境的作业处理方法、装置、系统及存储介质

权利要求书

1.一种基于大数据环境的作业处理方法，其特征在于，所述方法包括：

实时采集大数据作业信息；

根据所述大数据作业信息确定与所述大数据作业信息对应的作业是否符合资源调度触发条件；

当确定所述作业符合资源调度触发条件时，对所述作业执行与所述资源调度触发条件对应的处理操作，其中所述处理操作包括预警处理或查杀处理，以便根据对所述作业执行的预警处理或查杀处理结果，辅助资源调度分配。

2.根据权利要求1所述的方法，其特征在于，所述资源调度触发条件包括预警触发条件以及查杀触发条件；

所述预警触发条件以及查杀触发条件分别包括如下一种或多种：作业处理时间段、资源队列、作业名称、作业的map数量、作业的reduce数量以及作业来源。

3.根据权利要求2所述的方法，其特征在于，与所述预警触发条件以及所述查杀触发条件相对应的，所述大数据作业信息包括但不限于如下中一种或多种：用户名称、作业来源、作业的资源队列、作业运行时间、完成时间、map数量以及reduce数量。

4.根据权利要求1或2所述的方法，其特征在于，所述实时采集大数据作业信息之前，所述方法还包括：

识别所述作业对应的任务所在的类型和级别；

根据所述作业对应的任务的类型和级别，将所述作业划分到相应的队列，其中，所述任务对应至少一个作业，不同队列对应于不同的资源配置规格。

5.根据权利要求3所述的方法，其特征在于，所述根据所述大数据作业信息确定与所述大数据作业信息对应的作业是否符合资源调度触发条件，包括：

将所述大数据作业信息分别与预配置的预警触发条件以及查杀触发条件进行匹配；

确定所述大数据作业信息是否符合所述预警触发条件，或是否符合所述查杀触发条件。

6.根据权利要求4所述的方法，其特征在于，当确定所述大数据作业信息符合所述预警触发条件时，触发预警，并生成采用预设通知方式的告知信息；

或，当确定所述大数据作业信息符合所述查杀触发条件时，直接对于所述大数据作业信息对应的作业进行查杀操作。

7.根据权利要求1-3或5、6中任一项所述的方法，其特征在于，所述根据对所述作业执行的预警处理或查杀处理结果，辅助资源调度分配，包括：

根据对所述作业执行的预警处理的结果，向外发出预警信息，以便预警信息的接收方根据所述预警信息对所述作业占用资源进行优化，或调整作业执行时间，辅助资源调度分配；

或者，根据对所述作业执行的查杀处理结果，停止执行所述作业，以释放所述作业占用的资源，辅助资源调度分配。

8.一种基于大数据环境的作业处理装置，其特征在于，所述装置包括：

采集单元，用于实时采集大数据作业信息；

处理单元，用于根据所述大数据作业信息确定与所述大数据作业信息对应的作业是否符合资源调度触发条件；

当确定所述作业符合资源调度触发条件时，对所述作业执行与所述资源调度触发条件对应的处理操作，其中所述处理操作包括预警处理或查杀处理，以便根据对所述作业执行的预警处理或查杀处理结果，辅助资源调度分配。

9.一种服务器，其特征在于，所述服务器包括：至少一个处理器和存储器；

所述处理器用于执行所述存储器中存储的基于大数据环境的作业处理程序，以实现权利要求1～7中任一项所述的基于大数据环境的作业处理方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被如权利要求9所述的服务器执行，以实现权利要求1～7中任一项所述的基于大数据环境的作业处理方法。