[发明专利]存储调度方法和系统、作业调度方法和系统及管理节点

说明书

本发明提出了一种根据路径可用带宽进行调度的存储调度方法和作业调度方法，还提出了与之相对应的管理节点、存储调度系统和作业调度系统。本发明根据存储调度算法将数据块存储在路径可用带宽加权均值最大的数据节点列表，避免了网络拥塞并缩短了数据块存储的网络传输时间。本发明根据路径可用带宽信息为数据节点分配优选作业进行处理，提升了作业的本地化概率，并且减少了作业总完成时间。

技术领域

本发明涉及云计算技术领域，尤其涉及一种云计算任务调度中的存储调度方法和系统、作业调度方法和系统及管理节点。

背景技术

随着搜索引擎、社交网站、电子商务等数据密集型互联网应用的迅猛发展，基于分布式基础架构的海量数据处理平台（如Hadoop、MapReduce、分布式文件系统、数据定义存储等）被广泛关注。在这些平台上，不仅需要支持大容量文件（TB级、PB级）存储/下载、快速检索，还需要执行机器学习、数据挖掘、数据分析等大规模数据处理作业，还需要快速响应交互式用户请求，因此，云计算平台需要分发执行多个数据密集型的并行作业。当前作业调度算法往往从保证作业间公平分享数据中心计算资源存储的同时，通过加强作业的数据本地性（即把任务调度于输入数据所在的数据节点以减少网络传输开销）来提升系统性能和作业吞吐率。

这类任务调度算法存在如下缺点：1、远程数据存储和读取过程中，分布式文件系统因未感知平台内的网络路径可用带宽信息，任务调度算法为作业所选择的数据节点可能会因网络质量差，导致数据存取时间延长，用户体验很差；2、数据中心工作负荷、网络负荷等环境因素随时可能变化，而现有的延迟调度算法的等待时间阈值是用户提交作业时设定的，不能适应数据中心负荷的变化，虽有改进的算法，如时间阈值动态变化，但计算公式复杂，计算负荷较大，不适合大容量分布式系统，导致实用性降低。

发明内容

本发明的目的是提出一种云计算任务调度中的存储调度方法和系统、作业调度方法和系统及管理节点，够提高云计算系统的执行性能。

为了达到上述目的，本发明提出了一种存储调度方法，包括：

管理节点获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；

当管理节点接收到来自客户端的数据块存储请求时，根据存储调度算法预选出n组数据节点，每组数据节点中包括m个数据节点，其中，n、m为预先设定的整数；

管理节点根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值；

并将计算得到的路径可用带宽加权均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点。

优选地，所述m为3，每组数据节点中，包括第二数据节点、第三数据节点和第四数据节点，第三数据节点和第四数据节点处于同一机架，第二数据节点与第三数据节点处于不同机架；

所述管理节点根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值包括：

计算每组数据节点中所述客户端到所述第二数据节点之间的第一网络路径的路径可用带宽；

计算每组数据节点中所述第二数据节点到第三数据节点之间的第二网络路径的路径可用带宽；

计算每组数据节点中所述第三数据节点到第四数据节点之间的第三网络路径的路径可用带宽；

将每组数据节点中三条网络路径的路径可用带宽进行加权平均计算路径可用带宽加权均值。

优选地，所述每组数据节点中所述第一网络路径和所述第二网络路径的加权系数均为0.4，所述第三网络路径的加权系数为0.2。

本发明还提出一种作业调度方法，包括：

管理节点获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；