[发明专利]一种大数据任务调度方法、装置与系统

权利要求书

1.一种大数据任务调度方法，所述方法实现对大数据任务运行所需资源的分配与待运行任务的调度，所述分配与调度方法的特征在于，包括：

接收第一数据集，所述第一数据集包含大数据任务的特征描述，所述大数据任务为待运行任务；

获取系统资源的供给，所述资源用于运行至少一个所述大数据任务；

将所述第一数据集与所述资源供给信息输入给AI模型，所述AI模型用于对大数据任务作资源预测，所述AI模型来自于第二AI算法；

运行AI模型，得到系统资源的某个分配的描述，所述资源分配描述用于描述所述大数据任务在所述资源供给条件下的资源占用；

运行第三模块，所述第三模块根据所述资源占用与所述大数据任务的所述特征描述，执行对所述大数据任务的资源分配与任务调度。

2.根据权利要求1所述方法，其特征在于，所述AI模型用于对大数据任务作资源预测，还包括：

运行所述大数据任务，生成第四数据，所述第四数据为任务运行时日志的子集；

从至少一个所述大数据任务，收集至少一个所述第四数据，得到第四数据集，所述第四数据集为对所述第二AI算法作优化训练的优化样本；

使用所述第四数据集训练所述第二AI算法，得到所述AI模型的增强版本。

3.根据权利要求1所述方法，其特征在于，所述AI模型用于对大数据任务作资源预测，还包括：

提取第五数据，所述第五数据为所述第三模块运行时日志的子集；

运行至少一次所述第三模块，收集至少一个所述第五数据，得到第五数据集，所述第五数据集为对所述第二AI算法作优化训练的优化样本；

使用所述第五数据集训练所述第二AI算法，得到所述AI模型的增强版本。

4.根据权利要求1所述方法，其特征在于，所述AI模型用于对大数据任务作资源预测，还包括：

得到一个第六数据集，所述第六数据集为所述第二AI算法的优化样本；

使用所述第六数据集训练所述第二AI算法，得到第七数据集，所述第七数据集为所述第六数据集对所述第二AI算法的增强评估；

根据所述第七数据集，变更待运行大数据任务的监听采集与日志记录。

5.根据权利要求1所述方法，其特征在于，所述AI模型用于对大数据任务作资源预测，还包括：

得到第八数据集，所述第八数据集来自于增强版本的所述AI模型，所述第八数据集包括任务调度算法的遴选模式和算法参数的调适；

根据所述第八数据集，替换所述第三模块的部分特征，得到所述第三模块的一个新版本。

6.一种计算机程序，其特征在于，所述计算机程序包含执行权利要求1-5任一所述的方法。

7.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-5任一项所述的方法。

8.一种执行计算机程序的装置，其特征在于，包括处理组件、存储组件和通信模组件，处理组件、存储组件和通信组件相互连接，其中，存储组件用于存储数据处理代码，通信组件用于与外部设备进行信息交互；处理组件被配置用于调用程序代码，执行如权利要求1-5任一项所述的方法。