[发明专利]一种应用感知的多租户Coflow调度方法和系统

权利要求书

1.一种应用感知的多租户Coflow调度方法，其特征在于，包括：

S1，分布式并行计算系统根据租户需求，执行计算过程，并采集计算过程中的Coflow流量信息；

S2，分析S1采集到的Coflow流量信息，根据Coflow流量信息构建NHPP排队模型，模拟Coflow流量信息，结合S1实际采集的Coflow流量信息与NHPP排队模型的信息，建立租户到达模型；

S3，根据租户到达模型，模拟租户的动态需求，引入租户长期隔离进度P₁^*，采用NHDRF算法对P₁^*进行求解，使Coflow达到租户长期隔离进度P₁^*，保障租户最低带宽，实现租户隔离与应用感知；

S4，在保障租户最低带宽后，针对网络带宽利用率低的问题，对Coflow调度问题进行建模，通过拉格朗日对偶优化，求解性能最优进度P₂^*，以实现最小化Coflow完成时间和最大化实际分配带宽；

S5，基于步骤S3和S4得到租户进度的取值范围P∈(P₁^*,P₂^*)，实现应用感知的多租户Coflow调度。

2.根据权利要求1所述的一种应用感知的多租户Coflow调度方法，其特征在于，步骤S2中，分析S1采集到的MapReduce过程中多种计算过程的Coflow流量信息，得出其计算过程具有重复规律的特征，根据得出的特征构建NHPP排队模型。

3.根据权利要求2所述的一种应用感知的多租户Coflow调度方法，其特征在于，所述MapReduce过程中多种计算过程包括：Sort、Word Count,Hive Join,Hive Aggregation过程，其流量信息呈现规律重复的特点，包括以下三类：单峰类、固定宽度峰值重复类、峰值宽度变化类，具体的：

单峰类：典型代表为Hadoop中Sort，使用固定0字节值对随机生成的记录进行排序；

固定宽度峰值重复类：典型代表为Hadoop中Word Count，统计输入数据中出现的单词数；

峰值宽度变化类：Hive是构建在Hadoop之上的数据仓库系统，执行两个查询语句联合查询时，Hive Join在开始时表现出短暂的网络活动爆发，具有不同持续时间和不同强度的流量序列。

4.根据权利要求1所述的一种应用感知的多租户Coflow调度方法，其特征在于，步骤S2中，建立租户到达模型过程如下：

步骤S21，基于NHPP排队模型，构造服务速率到达函数；

步骤S22，采用EM算法优化求解服务速率到达函数，获得期望函数；

步骤S23，根据获得的期望函数，得到租户需求的预测函数结合采集到的实际流量d_k，构建租户到达模型，即为租户需求流量d_k：

其中，k表示第k位租户，λ_l为租户到达速率，λ_c(t)为服务到达速率，ε∈(0,1)为动态因子，调节真实值d_k与预测值的权重。

5.根据权利要求1所述的一种应用感知的多租户Coflow调度方法，其特征在于，步骤S3具体如下：

1)根据租户到达模型，模拟租户的动态需求，NHDRF统计每个Coflow端口数量以及其输入端口需求流量、输出端口需求流量；

2)寻找每个Coflow流量的最小主导资源，利用Coflow子流之间的相关性，为最小主导资源分配相应的带宽资源；

3)通过平等增加所有Coflow进度，让所有的Coflow以公平分配的方式分配带宽，使其达到租户长期隔离进度P₁^*。