[发明专利]面向云平台大数据处理的虚拟网络构建方法及系统

说明书

技术领域

本发明涉及云计算技术领域，特别涉及一种面向云平台大数据处理的虚拟网络构建方法及系统。

背景技术

随着云计算技术的广泛应用，越来越多的大数据处理服务被迁移部署到云计算平台当中，而云计算平台的特性会对传统的MapReduce分布式数据处理方法的性能带来很多新的挑战。目前对云计算平台上MapReduce的性能优化主要都集中在应用层面，如优化大数据作业调度方法等。而缺乏对云平台底层体系结构的研究。将MapReduce并行数据处理应用迁移到云平台之中，并行计算架构中master和slave节点之间的数据通信体现在云平台中虚拟机(VM)之间的通信，因此云平台的架构会进一步对大数据处理的性能产生影响：合理的VM分配方案以及虚拟网络构建方案，会优化大数据处理过程中VM之间的通信开销以及VM处理数据块的计算开销，提升大数据处理的整体性能。

OpenStack是一个开源的云管理平台项目，由于其多方面的优势，在推出的短短3年多时间里就得到了众多工业界和学术界同行的认可。迄今为止，OpenStack已经发布了8个版本。在其Folsom版中推出了Quantum组件，提出了“Network as a Service”的概念，该组件可提供基于云平台的虚拟网络拓扑构建的基本功能。它允许一个租户在虚拟机之间构建虚拟网络，但在一个云平台中只能单一节点部署通信代理。在随后的OpenStack Grizzly版中，为了改善虚拟网络的性能和可靠性，可以允许租户在多主机上部署代理节点。总的来说，目前的Quantum组件只实现了虚拟网络的通信功能，但并没有进一步关注虚拟网络通信性能的提升，具体来说，没有提供有效的通信代理部署分配方法。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何降低作业执行的总时间。

(二)技术方案

为解决上述技术问题，本发明提供了一种面向云平台大数据处理的虚拟网络构建方法，所述包括以下步骤：

S1：在作业过程中保证所有虚拟机的总耗时最少的情况下，计算通信代理的最优总数k_optimal及设于所述通信代理的服务器上的虚拟机最优数量之和

S2：根据所述通信代理的最优总数k_optimal及设有所述通信代理的服务器上的虚拟机最优数量之和从云平台上的服务器中确定通信代理的位置；

S3：将所述云平台上的服务器中未设置通信代理的虚拟机分配至所述通信代理，以实现所述未设置通信代理的虚拟机与所述通信代理之间的映射关系。

其中，步骤S1中通过下式计算通信代理的最优总数及设有所述通信代理的服务器上的虚拟机最优数量之和，

其中，为Map阶段第i号服务器上的第j台虚拟机经历的时间，为Reduce阶段第i号服务器上的第j台虚拟机经历的时间，m为数据中心中服务器的数量，n_i为第i号服务器上可用虚拟机的数量。

其中，所述通信代理的最优总数k_optimal及设有所述通信代理的服务器上的虚拟机最优数量之和的表达式如下，

其中，γ为服务器上部署了通信代理性能的变化率，μ₀为任一台虚拟机在所在服务器空载时的性能，n_r为Reducer的数量，S为稳态时，固定时间段内输入数据包总大小的期望，N为在MapReduce进程中可用的虚拟机数量，且N＝n₁+n₂+...+n_m，B为任意两个服务器之间的数据传输率，S_r为每个Mapper上的Map阶段产生结果的数据大小，k为数据中心里通信代理的数目。

其中，步骤S2包括：

S201：通过背包算法在m个服务器中选出k_optimal个，使得所选出的k_optimal个服务器上可用虚拟机之和最接近于

S202：将所选出的k_optimal个服务器作为通信代理。

其中，步骤S3包括：

S301：将所述云平台上的服务器中未设置通信代理的虚拟机的性能进行降序排列，以获得虚拟机序列；

S302：将所述虚拟机序列中性能最高的虚拟机作为当前虚拟机，并寻找出负载最轻的通信代理；

S303：将所述当前虚拟机分配给所述负载最轻的通信代理；