[发明专利]跨IDC大数据处理架构下执行策略生成方法、装置

权利要求书

1.一种跨互联网数据中心IDC的大数据处理架构下执行策略生成方法，其特征在于，包括：

调度组件接收各个IDC集群上报的当前可用的计算资源和传输资源；

所述调度组件接收提交的作业，所述作业包括任务、作业数据和期望输出；

所述调度组件根据任务类型基于任务分类模型库确定所述任务的代表执行策略，所述任务的代表执行策略包括所述任务所需计算资源和所消耗时间；

所述调度组件根据集群可用资源池中的[集群可用计算资源、作业数据分布]矩阵和[各个任务所需计算资源、和所消耗时间、集群可用网络传输资源]矩阵进行调度，获得所述作业的当前最优执行策略；

还包括：

对于每个类型的任务，通过试运行任务对相关资源进行随机分配，获得不同相关资源分配状态下的任务执行输出结果，获得任务试运行结果最优的最优执行策略；

将任务的最优执行策略作为该任务类型的代表执行策略存入任务分类模型库。

2.根据权利要求1所述的方法，其特征在于，还包括：

通过机器学习建立所述任务分类模型库。

3.根据权利要求2所述的方法，其特征在于，所述通过机器学习建立所述任务分类模型库包括：

任务作为一个对象向IDC集群申请相关资源，相关资源包括CPU、硬盘、内存、传输资源和任务所需数据。

4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述计算资源包括CPU、硬盘、内存和传输资源。

5.根据权利要求1所述的方法，其特征在于，还包括：

基于作业的服务质量要求为作业分配不同的作业权重，具有较高服务质量要求的作业分配较高的作业权重，让集群计算资源在作业权重的分配下达到使用利用率最大化，从而进行策略分配时优先分配具有较高QoS要求的作业。

6.根据权利要求1所述的方法，其特征在于，所述调度组件根据可用资源池中的[集群可用计算资源、作业数据分布]矩阵和[各个任务所需计算资源、所消耗时间、集群可用网络传输资源]矩阵进行调度获得所述作业的当前最优执行策略包括：

基于优化算法随机迭代，将[集群可用计算资源、作业数据分布]矩阵中的相关资源分配到[各个任务所需计算资源和所消耗时间、集群可用网络资源]矩阵的各任务的公式中，通过比对最优策略选取集群最优的分配策略。

7.一种跨互联网数据中心IDC的大数据处理架构下执行策略生成装置，其特征在于，包括：

可用资源获取模块，用于接收各个IDC集群上报的当前可用的计算资源和传输资源；

作业接收模块，用于接收提交的作业，所述作业包括任务、作业数据和期望输出；

任务策略确定模块，用于根据所述任务的类型基于任务分类模型库确定所述任务的代表执行策略，所述任务的代表执行策略包括所需计算资源和所消耗时间；

最优策略确定模块，用于根据可用资源池中的[集群可用计算资源、作业数据分布]矩阵和[作业的各个任务的所需计算资源和所消耗时间、集群可用网络资源]矩阵进行调度，获得所述作业的当前最优执行策略；

还包括：

任务分类模型库建立模块，用于对于每个类型的任务，通过试运行任务对相关资源进行随机分配，获得不同相关资源分配状态下的任务执行输出结果，获得任务试运行结果最优的最优执行策略；将任务的最优执行策略作为该任务类型的代表执行策略存入任务分类模型库。

8.根据权利要求7所述的装置，其特征在于，其中，

所述任务分类模型库建立模块，用于通过机器学习建立所述任务分类模型库。

9.根据权利要求8所述的装置，其特征在于，所述任务分类模型库建立模块将任务作为一个对象向集群申请相关资源，相关资源包括CPU、硬盘、传输资源、内存、任务所需数据。

10.根据权利要求7所述的装置，其特征在于，所述最优策略确定模块基于优化算法随机迭代，将[集群可用计算资源、作业数据分布]矩阵中的相关资源分配到[各个任务所需计算资源和所消耗时间、集群可用网络资源]矩阵的各任务的公式中，通过比对最优策略选取集群最优的分配策略。