[发明专利]跨IDC大数据处理架构下执行策略生成方法、装置

说明书

本发明公开了一种跨IDC的大数处理架构下执行策略生成方法、装置，涉及大数据处理领域。该方法接收各个IDC集群上报的当前可用计算资源和网络传输资源；基于任务分类模型库根据任务的类型确定任务的最优执行策略，任务的最优执行策略包括任务所需计算资源和所消耗时间；根据可用资源池中的[集群可用计算资源、作业数据分布]矩阵和[各个任务所需计算资源和所消耗时间、集群可用网络资源]矩阵两两计算，获得作业的当前最优执行策略。相对于现有的方案，本申请的技术方案能在跨IDC搭建下的大数据处理平台高利用率使用计算、网络资源，能满足不同业务的服务质量要求，而且具有灵活的业务扩展能力。

技术领域

本发明涉及大数据技术领域，特别涉及一种跨IDC(Internet Data Center，网络数据中心)大数处理架构下执行策略生成方法、装置。

背景技术

当前处理海量数据处理平台都是以单个IDC内方式构建，使用者不需要了解在IDC内分布式计算所涉及的底层技术细节，能方便快捷地开发数据处理程序。

在当前架构下，任务策略都以量化集群内设备的CPU、内存等计算相关资源来开发。

1.FIFO(First In First Out，先入先出)调度策略

队列调度策略，是从工作队列中以先进先出方式来处理任务。此策略是最老、最简单的处理方式，易于实现运行稳定。但是，该策略不考虑作业的优先级或大小，如果遇到大的计算任务会占用整个集群全部资源，后续任务需要等待当前大任务完成才能获得处理。一些优先级别高、计算量小的任务，不能得到及时处理。

2.容量调度策略

容量调度策略，是让任务选择预先分配的资源容器处理执行。

按照各容器预先划分计算资源到每个容器内，并分配容器给多个独立用户和目标应用程序。该调度策略对集群的计算资源利用率不高，且计算资源扩容、删减的维护成本较高；此外，容器内多任务运行采用FIFO调度器，无法避免相应容器内的大任务导致拥塞整个容器。

3.公平调度策略

公平调度策略，与容器调度策略有相似的地方。相对容器调度策略，公平调度策略强制公平共享各容器的计算资源。

具体来说，处理任务随着时间推移，在使用完自身容器所有计算资源情况下，根据强制公平共享计算资源的全局规则约定，当前任务从其他还有计算资源且优先策略低于当前任务的容器中借用相关资源。

在该规则下，临时的、需要较少时间、优先级别较高的作业会获得计算资源，那些需要更长时间执行的作业会推迟结果输出。但当在数据与计算资源分布不均匀时，采用任务延迟策略，导致调度稳定性不可预估。

现有大数据通用计算调度策略是在单IDC内，且数据、计算能力分布较均匀情况下有较好的批量执行处理能力。

首先，单个大IDC构建数据中心方面，随着大数据的演进。多样数据源源不断地来自网络每个角落，大家已经普遍认同：一个数据中心在建立和计算时效上都会对网络、可扩容等方面造成过高的运营成本。业内需要建立一个通用有层级数据处理能力的架构，在此架构下当前调度策略都是无法满足的。

其次，在数据与计算能力匹配调度为可执行任务上，现有的策略采取的是任务延迟策略。本策略中出现一个空闲计算资源，如果它被选中的作业没有设备内或本机架中的待处理数据时，策略暂把计算资源让给其他作业。基于此策略，对处理数据分布不理想，只采用延迟一段时间后随机处理的办法会让调度不稳定。

最后，随着大数据处理平台的普及，不同用户提交的应用作业往往具有不同的服务质量(QoS)需求。目前通用调度策略普遍是基于批量处理，已难于满足当前对大数据多样的QoS的要求。

发明内容