[发明专利]一种用于分布式计算机平台的网络流组调度方法

说明书

本发明公开了一种用于分布式计算机平台的网络流组调度方法。本发明通过心跳检测收集集群中实时的带宽信息，采用集中式调度来决定网络流组的优先级和传输速率，解决了分布式调度的复杂控制和对交换机的修改等问题。同时，又采用分布式的动态限速算法来控制低优先级的网络流组的传输速率，避免了集中式调度的带来的延迟性。通过这两种混合的调度策略，最终实现了对网络流组更精确的调度，从而降低了分布式计算机平台中网络流组的平均完成时间，提升分布式计算机平台的性能。

技术领域

本发明涉及的是计算机网络方向数据中心网络流调度领域。具体来讲，主要是提出了一种在分布式计算平台中通过动态信息来调度网络流组(Coflow)，从而提升分布式计算的性能的算法。

背景技术

云计算作为IT行业的一个里程碑式的突破，已经成为了业界研究和应用的一个热点。大量的数据中心出现在全球各地，与此同时，各种适用于大数据的分布式计算平台被开发和部署在数据中心。但是他们在设计时为了兼容性并未针对数据中心的特殊环境做出改变，使得这些应用在运行时产生的大量网络流量给数据中心的网络带来了巨大的挑战。

针对这个现象，目前国内外已经有很多关于数据中心流调度的研究，期望通过对网络的优化和调度来防止网络成为整个系统的瓶颈。这些研究也确实取得了很好的效果，他们能在尽可能少的改动现有软硬件的情况下降低平均网络流平均完成时间(FCT)，提升网络的利用率和吞吐量。但是分布式计算在进行不同阶段间的数据传输时不可能仅仅通过一条流来完成，而在这个不同计算阶段之间，由于存在数据依赖，当且仅当这一组网络流(Coflow)全部传输完成之后，计算的下一个阶段才能开始。

针对这个现象美国加州伯克利大学的论文中提出了Coflow的概念，以一个整体去调度一组上下文相关的网络流。针对这个概念目前主要有集中式的调度(如Varys)和分布式调度(如Baraat)两种模式，但是目前前者的调度方式大多基于静态配置，无法适应公有云以及集群运算资源共享的环境。而目前分布式的调度方式往往需要大量修改交换机，这使得分布式的调度在部署到实际生产环境中的可能性大幅下降。

发明内容

本发明针对现有的Coflow调度方法的不足，提出了一种用于分布式计算平台的网络流组调度方法，通过采用将集中式与分布式相结合的动态调度算法，很好的解决了目前集中式和分布式调度的局限性。采用集中式调度，不需要改动硬件就能能快速扩展到分布式集群中，同时动态的带宽输入和分布式的大流限速，很好的解决了集中式调度的滞后性问题。最终达到了(1)提升调度的精确性，(2)降低数据中心Coflow的平均完成时间的目标。

本发明的发明目的通过以下技术方案实现：

一种用于分布式计算机平台的网络流组调度方法，包含以下步骤：

步骤1：在分布式计算机平台中设置一台机器作为中心控制节点，剩下的机器作为工作节点，中心控制节点定期收集每个工作节点上的剩余带宽以及网络流组注册请求；

步骤2：当中心控制节点收到某个工作节点的网络流组注册请求之后分配一个Coflow ID给提出网络流组注册请求的工作节点；

步骤3：提出网络流组注册请求的工作节点将所述Coflow ID转发给具体需要发送和接收该网络流组中各网络流的其余工作节点；

步骤4：工作节点在传输网络流前根据收到的Coflow ID向中心控制节点发起一次提交请求；当工作节点准备接收网络流时，根据收到的Coflow ID向中心控制节点发起一次获取请求；

步骤5：当中心控制节点收到该网络流组中所有的工作节点提交的提交请求和获取请求时，将该网络流组加入调度队列；

步骤6：中心控制节点根据调度队列中各网络流组的优先级和工作点节的剩余带宽计算各网络流组的传输次序和传输速度；