[发明专利]一种基于数据流预测的Storm任务伸缩调度算法

说明书

本发明涉及一种基于数据流预测的Storm任务伸缩调度算法，属于数据交换网络领域。通过监控模块获得用户提交的Topology任务的实时运行数据，求解在满足组件负载的情况下Topology中相连组件的并行度，然后迭代求出Topology中所有组件的并行度。利用时间序列模型来预测Topology要处理的数据量，并求得在该情况下Topology中开始组件spout的较优并行度，获得预测情况下的Topology中各组件的较优并行度，并进行调度。在调度中使用线上调度算法，最大限度减少结点间的网络通信并保证集群的负载均衡。本发明克服了现有对Topology中各组件间的关联性考虑的不足，弥补了不能快速高效地求解到用户提交Topology中各组件的较优并行度的不足，具有提前预测变化、提高吞吐量、降低处理时延的优点。

技术领域

本发明属于数据交换网络领域，涉及一种基于数据流预测的Storm任务伸缩调度算法。

背景技术

云计算、物联网、社交媒体以及移动互联网等新兴技术和应用模式的普及和推广，促使全球数据量急剧增加，推动人类社会进入大数据时代。在大数据背景下，数据蕴含了丰富的内涵和价值，数据的时效性越来越重要，数据的流式特征也越来越显著，流式计算的重要性也越来越突出。业界推出了S4、Spark、Storm等流式计算框架。Storm是个实时的、分布式的以及具备高容错的计算系统。Storm可以处理大批量的数据，也可以在保证高可靠性的前提下让处理进行得更实时化，能快速处理或输出所有信息。Storm具备容错和分布计算等特性，可以到不同的机器上进行大批量的数据处理。正因Storm所表现出来的强大功能，使得它被广泛应用于国内外的互联网企业，如Twitter、阿里巴巴、雅虎等。但在Storm的应用及研究中，发现其在多个方面都有待完善。

Storm是一个实时流式计算框架，时效性要求高，而调度算法的好坏直接影响到tuple的处理时延。Storm中默认的任务调度器使用轮询调度的策略，首先是计算集群中可供分配的slot资源，并判断当前已分配给运行Topology的slot是否需要重新分配，然后对可分配的slot进行排序。计算Topology的executor信息，最后将资源平均地分配给Topology。

在调度算法的优化上，业界已有许多相关研究：L.Aniello等提出了一种将相互通信频率高的executor调度到同一个slot上来减少网络通信的改进调度算法，分为离线版：分析Topology的静态结构，决定那些executor应该放在同一个slot；在线版：监控executor运行时的通信情况，将通信频率高的executor放到同一个slot。JielongXu等指出L.Aniello所提出的离线处理忽视了集群中结点的负载情况和在线处理的调度算法模型缺乏有力的数学证明。作者在此基础上进行了优化，提出将executor按照trafficload降序排列，然后按序依次将executor分配到负载最轻的slot上，同时每个workernode上同一个Topology的executor会被分配到同一个slot上和每个workernode的任务量不会过载。PengB等提出一种最大化资源利用率的同时最小化网络通信来提升系统性能的调度算法。其要解决的核心问题是：如何找到一种task到workernode的映射，使所有的资源请求都能够得到满足同时结点不会出现资源过载。LongS等结合Storm的不同应用场景，如恢复历史调度任务、单节点任务调度、资源需求调度等，对Storm的资源分配和调度算法做了改进。Sun D等提出基于分布式QoS(quality of service)感知的调度算法，使得Storm适用于地理信息系统的研究中。