[发明专利]数据中心网络中一种兼顾高吞吐和公平性的链路调度方法

说明书

本发明公开了一种数据中心网络中一种兼顾高吞吐和公平性的链路调度方法，所述的方法步骤如下：S1：对于同一时刻中coflow的数量为n以及各个coflow Csubgt;k/subgt;在链路上对应的标准化后的流的大小dsubgt;kj/subgt;，采用一个多层全连接神经网络来实现内部调度器；S2：基于元学习进行自适应调整多层全连接神经网络，即先通过元训练阶段得到的元参数θ来初始化多层全连接神经网络的权值再利用元测试集阶段进行更新得到最终的多层全连接神经网络；S3：利用步骤S2得到的多层全连接神经网络对输入的coflow进行并行分布式作业资源调度，得到最终的资源调度方案。本发明能在公平性和高效率之间进行平滑的权衡。

技术领域

本发明涉及高性能计算领域，更具体的，涉及一种数据中心网络中一种兼顾高吞吐和公平性的链路调度方法。

背景技术

在许多并行分布式作业(如MapReduce)中，有这样一个通信阶段，一组流在一组机器之间传输数据，并且每个流需要传输的数据量可以在流开始之前就可以知道，Chowdhury等人提出了coflow的概念来作为这样一组并行且具有关联语义和共同目标的两组机器之间的流的集合的抽象[Chowdhury,MosharafStoica,Ion.(2012).Coflow:a networkingabstraction for cluster applications.31-36.10.1145/2390231.2390237]。coflow捕获了包括计算应用程序在内的各种通信模式，使应用程序能够更容易地将它们的通信语义传递到网络，从而使网络能够更好地优化常见的通信模式。这些关联语义允许网络对这个流集合实施不同的行为，以达到共同的最终目标

我们考虑一个网络模型，其中整个数据中心结构被抽象为一个非阻塞交换机，连接所有的机器，如图1所示。我们只关注它的入口(上传通道)和出口(下载通道)。这个网络模型抽象十分简单，但它契合了全对分带宽拓扑[22,32]和多租户模型的发展和应用，因而它是实用的，也吸引了很多该领域的研究者的注意力。假设每个coflow在对应的上传和下载通道中都有对应的流，并且每个coflow来自不同的应用，那么理想情况下，coflow调度器应该在最小的coflow进度上提供隔离保证，使得每个coflow都会被相对公平地分配带宽资源(即保证公平性)，从而达到提高当今数据中心的应用程序级网络性能的目的。而另一方面，网络运营商则努力减少coflow完成时间(coflow completion time,CCT)。然而，最佳隔离保证和最低平均CCT是相互矛盾的目标，二者不能同时达到最优。因此现有许多的coflow调度器要么以牺牲长CCT为代价优化隔离保证(例如，HUG[Mosharaf Chowdhury,ZhenhuaLiu,Ali Ghodsi,and Ion Stoica.2016.HUG:multi-resource fairness for correlatedand elastic demands.In Proceedings of the 13th Usenix Conference on NetworkedSystems Design and Implementation(NSDI'16).USENIX Association,USA,407–424])，要么在没有性能隔离的情况下降低平均CCT(例如，Varys[M.Chowdhury,Y.Zhong,andI.Stoica,“Efficient coflow scheduling with varys,”in ACM SIGCOMM,2014]和Aalo[M.Chowdhury and I.Stoica,“Efficient coflow scheduling without priorknowledge,”in Proc.of ACM SIGCOMM,2015])。Coflex[W.Wang,S.Ma,B.Li and B.Li,Coflex:Navigating the fairness-efficiency tradeoff for coflow scheduling,IEEE INFOCOM 2017-IEEE Conference on Computer Communications,Atlanta,GA,USA,2017,pp.1-9,doi:10.1109/INFOCOM.2017.8057172]是为数不多的在这两个相互矛盾的目标之间进行权衡的工作，它允许网络运营商使用一个平衡参数α来指定所需的隔离保证级别，同时降低平均CCT。