[发明专利]一种应用感知的多租户Coflow调度方法和系统

说明书

本发明公开了一种应用感知的多租户Coflow调度方法和系统，包括采集Coflow流量信息；根据Coflow流量信息构建NHPP排队模型，模拟Coflow流量信息，建立租户到达模型；求解租户长期隔离进度，使Coflow达到租户长期隔离进度，实现租户隔离与应用感知；对Coflow调度问题进行建模，通过拉格朗日对偶优化，求解性能最优进度，以实现最小化Coflow完成时间和最大化实际分配带宽；得到租户进度的取值范围，实现应用感知的多租户Coflow调度。本发明结合分布式并行计算框架中Coflow特点，通过数学建模加入应用感知机制，保证租户带宽隔离；通过对偶优化，增大租户的实际带宽，提高网络链路利用率。

技术领域

本发明属于大数据通信抗技术领域，具体涉及一种应用感知的多租户Coflow调度方法和系统。

背景技术

随着云计算、大数据、物联网等信息技术的高速发展，海量数据的高效计算和快速存储得到了广泛应用。数据中心作为信息产业的基础设施，大量租户、应用接入到数据中心内部，其内部流量激增，给数据中心流量控制带来极大挑战。诸如本地应用迁移上云、视频在线播放等在线服务与应用，均包含复杂的计算过程或存储过程，分布式并行计算框架可以提供高效可靠的服务。针对计算业务的低延迟和存储业务的高吞吐量之间的冲突，即计算任务多为短流量传输，存储任务多为大流量传输，传统的流量调度多用于路由层的优化，对于数据中心内部低延迟、高吞吐量的流量调度优化不够有效。在这种情况下，Coflow模型可以弥补分布式并行计算框架的不足。

Coflow被称为具有语义相关的一组通信数据流。2012年的ACM HotNet会议中首次提出Coflow调度的概念，此后普遍认为Coflow调度是解决分布式并行计算任务的有效方案。以MapReduce并行计算框架为例，Map映射阶段需要对作业的任务进行划分和分发(shuffle)，会产生中间通信数据流，Reduce归并阶段需要读取Map阶段处理完成后的中间结果，也会产生中间通信数据流。为了增强数据中心的性能，提高任务的完成时间，需要对Coflow的完成时间进行优化(CCT,Coflow Completion Time)。

众多学者对Coflow优化进行了大量研究，诸如：Varys、Aalo、DRF等，其均在一定程度上缩短了平均CCT。然而现有Coflow优化多关注于性能的提升，即缩短平均CCT，对于多租户数据中心内的公平问题，关注较少，导致租户体验较差。如何平衡租户带宽分配与提高租户性能，成为Coflow流量调度的挑战。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种应用感知的多租户Coflow调度方法和系统，结合分布式并行计算框架中Coflow特点，通过数学建模加入应用感知机制，保证租户带宽隔离；通过对偶优化，增大租户的实际带宽，提高网络链路利用率。

为实现上述技术目的，本发明采取的技术方案为：

一种应用感知的多租户Coflow调度方法，包括：

S1，分布式并行计算系统根据租户需求，执行计算过程，并采集计算过程中的Coflow流量信息；

S2，分析S1采集到的Coflow流量信息，根据Coflow流量信息构建NHPP排队模型，模拟Coflow流量信息，结合S1实际采集的Coflow流量信息与NHPP排队模型的信息，建立租户到达模型；

S3，根据租户到达模型，模拟租户的动态需求，引入租户长期隔离进度P₁^*，采用NHDRF算法对P₁^*进行求解，使Coflow达到租户长期隔离进度P₁^*，保障租户最低带宽，实现租户隔离与应用感知；