[发明专利]分布式流数据处理系统虚拟化资源弹性调度管理研究

说明书

本发明公布了一种双层资源调度模型、任务层动态资源调度与减载协同工作模型，以及自调节的分布式流处理结合模型。所述方法包括：通过任务层弹性资源调度模型，调优流处理任务的虚拟化资源占用率与分配；基于任务层调度结果，通过系统层物理资源调度模型弹性调整物理计算资源；将减载技术集成到资源弹性调度的策略；建立响应时间、结果精度和资源使用率之间的关系；实时统计分布式流处理任务的工作负载和运行状态，自动调节资源分配计划和减载策略，通过一个有效的协议来执行它们。本发明通过Storm on yarn实验，结果表明自调节分布式流处理模型实现了对于计算资源的高效使用和输出结果准确性的保障，同时也能够保证系统的实时响应；而双层资源调度模型也能够在保障流处理任务稳定高效运行的前提下，最优化其计算资源的使用率。

技术领域

本发明涉及分布式数据流处理算法，尤其涉及到双层资源调度模型、任务层动态资源调度与减载协同工作模型，以及自调节的分布式流处理结合模型。

背景技术

随着大数据分布式计算技术的不断发展，越来越多的场景下开始使用分布式系统来处理海量数据，许多数据都是实时产生，因此数据流的实时处理和分布式实时计算越来越受到重视。分布式流处理系统资源调度技术在研究与应用中也存在着一些难点，如怎样快速响应实时变化的工作负载来弹性增减系统的计算资源，以及如何同时兼顾资源使用率、输出结果准确性和系统实时性来保障系统实时响应的同时节约计算资源、输出准确结果。

在对已有技术的研究和实践中，本发明的发明人发现，现有的分布式流处理系统资源调度技术主要面临以下问题：

（1）忽略了底层资源的高效利用以及集群的高效管理；系统层面上，几乎无法进行物理资源调度和管理；在任务层面，这些系统对于集群中运行的任务所占用资源的管理也相对松散

（2）难以兼顾资源利用率、输出结果准确性及系统实时性

发明内容

本发明要解决的技术问题在于，提供一种新的分布式流处理系统资源调度技术，能够弹性增减分布式流处理系统计算资源，并且对在资源使用率、输出结果准确性和系统实时性之间取得平衡。

为解决上述问题，本发明的一个实施例提供一种双层资源调度模型，包括：

顶层为任务层动态资源调度框架，将资源请求提交给分布式流处理系统；

底层为系统层资源调度框架，动态调整分布式流处理系统所占有的虚拟化资源；

中间件为分布式流处理系统中的调度器，与系统层资源调度框架通信，响应任务层资源调度框架提交的资源调整请求。

进一步地，所述的任务层资源调度框架，具体包括：

负载实时监控流处理任务的运行状态。

在任务运行时根据工作负载计算出任务需求的最优资源配置，将资源请求提交给分布式流处理系统。

系统先检测现有资源使用情况。若资源过多，则提交申请到系统层资源调度框架，申请将冗余资源回收；若资源不足，则申请增加资源。

进一步地，所述的系统层资源调度框架，具体包括：

将物理资源虚拟化成虚拟化资源。

接收分布式流处理系统的请求，根据现有物理资源状况，弹性的增减分布式流处理系统占用的资源。

进一步地，所述的中间件调度器，具体包括：

第一步： 中间件调度器接收到任务层资源调度请求。

第二步： 中间件调度器检测当前分布式流处理系统资源状态。若不能满足流处理任务请求的资源或者资源出现冗余，跳至第三步，否则跳至第五步。

第三步： 中间件调度器基于目前分布式流处理系统中，任务对于资源的使用情况，计算出当前系统最优资源需求，并向系统层资源调度框架发起会话，申请调整系统占有资源，已达到最优状态。