[发明专利]一种面向边缘计算环境基于多副本的任务调度方法和系统

说明书

本发明公开了一种面向边缘计算环境基于多副本的任务调度方法和系统。所述方法包括：定期测量和收集每个边缘集群内任务的执行状态，建立本集群的任务时间延迟因子分布概率模型，所述模型描述了集群的资源性能；基于最短剩余处理时间原则和公平共享原则预估各作业可执行任务需要的副本数；基于各作业当前进度和集群的资源性能，采用迭代分配方式将各集群的空闲节点，根据预估的副本数，分配给各个任务；将分配到节点的任务调度到相应的集群来执行。利用本发明能够在真实系统中有效利用边缘计算环境中的空闲资源，通过合理的设定任务副本，降低作业的运行时延。

技术领域

本发明涉及边缘计算环境中作业处理系统中的任务调度以及资源分配，具体涉及一种面向边缘计算环境基于多副本降低大数据处理应用时延的任务调度方法及调度系统。

背景技术

如今，用户与云端数据交互日益频繁，云服务提供者在部署骨干数据中心的同时，加快“边缘”集群的建设。谷歌在全球建有15个数据中心，同时也被探测出有来自139个国家1400余个端服务器为终端用户服务；阿里云建立了18个数据中心，而其内容分发网络产品(CDN)覆盖超过1200个加速端服务器，跨越6大洲的多个运营商(ISP)网络。对于依赖云端建立的IT服务商，各类型的用户数据也越来越分散于地域分布的多个集群中，由这些异构的集群与跨ISP网络连接构成云-边缘融合的广域存储与计算环境。

一个大数据处理、机器学习等作业由多个存在数据依赖的阶段组成，同一阶段中的多个任务并行执行，对不同的数据分区执行相似的计算。一次作业可能涉及多个集群数据的处理与汇聚，并依靠广域网络进行必要的数据传输。例如，搜索引擎应用基于关键字的广告投放，需要定期收集指定区域内各类广告点击量。统计表明谷歌在2016年每天的搜索量达55亿次，会产生至少1.1TB数据分散于各边缘集群。由于广域网络带宽受限，这类跨域大数据分析通常采用将大量原始数据留在原地，而分派并行任务到相应边缘集群处理数据，以求更快完成计算。

基于并行处理的作业通常会被一些“慢”任务拖延。微软的一个商用集群显示约一半的作业至少被“慢”任务拉长34％的完成时间。“慢”任务产生的原因十分复杂且不可避免，包括间歇性的组件故障、底层资源争用、广域网络拥塞等，都会导致计算节点(也可以称机器或者容器，用于承载任务的计算单位)的实际服务能力在短时间内发生较大波动，使得计算任务真实执行时间远远超出预期，成为“慢”任务。而且，随着云服务计算基础设施规模的扩张，上述现象愈加普遍，尤其是在资源有限的边缘集群。

当前应用最广泛的“慢”任务处理方案是多副本执行，即任务复制，为已变(或可能变)“慢”的任务执行多个副本，然后基于最快副本的处理结果推进后续计算。对于边缘计算环境中的大数据处理作业，如图1所示，人们可能希望不仅在本地复制任务，还可以远程复制任务，利用其它边缘集群的空闲资源，降低大数据处理应用时延。

然而，涉及多集群的跨域任务调度和复制实际上面临着严峻的挑战。首先，系统环境是高度动态且不确定的。例如，作业的到来可能是随时间变化且不可预测的，系统的可用资源相应变化，使用边缘集群的空闲资源复制任务不应影响到系统正常/即将到达作业的资源使用；节点性能的不稳定也会造成在实际执行副本之前，副本执行时间未知，尤其是边缘服务器通常能力有限易发生过载。加上广域网络波动大，这些都会影响副本的执行。设计出不断适应这种动态性和不确定性的在线算法并非易事。其二，系统环境是异构的，任务副本的执行集群会影响能够为作业带来的性能提升。例如，各边缘集群异构的节点性能会影响执行，而集群之间异构的传输网络会影响数据传输。第三，任何大规模系统的任务复制和调度都不应在系统上强加过多的开销，需要在算法复杂性和预期的作业加速间取得平衡。

面对上述挑战，现有的任务复制和调度方法是不适用的。现有的研究工作中，任务复制策略主要分为两类，分别是基于监控的复制和主动式克隆：前者监控任务运行并收集执行信息，在发现异常任务后为其启动新副本以减少异常的影响；后者在任务执行一开始，依据历史执行信息主动复制任务，以降低其成为慢任务的可能性。