[发明专利]基于虚拟节点存储优化的Swift负载均衡方法

说明书

本发明公开了一种基于虚拟节点存储优化的Swift负载均衡方法，该方法可以动态均衡云存储服务组件Swift中各存储服务器的负载。与传统负载均衡方法不同的是，该方法既非单一的全局负载均衡，也非单一的局部负载均衡，而是通过采用分组、合并的机制，实现全局和局部相结合的动态负载均衡。该方法既能保证云存储系统的负载保持平衡状态，提升存储资源的利用率，又能提高云存储系统的存取效率，更加适用于大规模、分布式云存储服务需求。

技术领域

本发明涉及一种基于虚拟节点存储优化的Swift负载均衡方法，该方法可以用于实现大规模、分布式的存储系统，属于互联网技术领域。

背景技术

Swift是开源云计算平台OpenStack中的云存储服务组件，是目前业界非常重要的一种云存储解决方案。Swift的对象存取策略主要采取两层映射机制，该机制在对象与存储服务器之间增加一个虚拟节点层，一起形成两层映射：(1)对象层与虚拟节点层之间的映射，该映射主要通过一致性哈希算法完成；(2)虚拟节点层与存储服务器层之间的映射，该映射主要根据存储服务器的物理位置，将虚拟节点分散地分布于服务器集群中。其中第一层映射较为复杂，也是影响整个Swift存取性能的关键。在两层映射关系下，Swift中对象的存取过程如图1所示，主要分为两步：第一步，利用哈希函数对请求中的对象进行哈希，根据哈希计算的结果找到对应的虚拟节点；第二步，根据第二层映射找到该虚拟节点对应的存储服务器，进而完成对象的存储或读取。

一致性哈希算法(Consistent Hash)在Swift存取过程中起到非常重要的作用，其原理如图2所示：该算法维护一个逻辑环(Ring环)，它可视为一个环形的Hash空间，对象和虚拟节点都将映射到此Hash空间中。当有存储对象的请求到来时，利用哈希函数将对象映射到环上某一点，并以该位置为起点，沿环顺时针方向遇到的第一个虚拟节点为该对象所对应的虚拟节点。如图2所示，对象Object2在环上的位置是L2，则Object2映射到虚拟节点Vnode3。Swift将虚拟节点均匀地分布在Ring环上，确保每个虚拟节点可存储的对象个数相等。但是，由于每个对象所占存储空间大小存在差异，所以这样做并不能保证存储服务器的空间利用率负载均衡。此外，当在Ring环上顺时针方向遇到的第一个虚拟节点不满足存储条件时，Swift将继续沿顺时针方向直至找到合适的虚拟节点为止，最坏情况下将绕环一周，影响对象的存取效率。

由于Swift存储对象具有随机性，并且不同存储服务器的性能不同，为了避免因存储服务器负载不均而使个别存储服务器出现存储瓶颈，Swift在存储对象时需要对各存储服务器进行负载均衡。实现负载均衡的关键在于，如何以尽可能小的开销来平衡各服务器的负载，从而提高存储系统的资源利用率。从Swift存储的负载均衡需求来看，目前已有的一些动态负载均衡方法，在效率、可扩展性和性能等方面仍存在欠缺。例如，基于加权最小连接(weighted least-connections)的方法，用权值来反映各服务器间的性能差异，并采用请求的连接数作为衡量负载量的标准，在分配请求时尽可能使服务器的连接数与性能权值成比例，但该方法并没有考虑请求之间的差异。而基于双加权最小连接的方法虽然考虑了请求之间的差异，并因此增加了表示请求的权值，但该方法对于Swift而言，由于比较次数过多，致使效率较低。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种基于虚拟节点存储优化的Swift负载均衡方法。该方法综合考虑了存储服务器的性能差异和对象所占空间的大小差异，通过采用分组、合并的机制，可实现全局和局部相结合的动态负载均衡，提升云存储系统的资源利用率和提高云存储系统的存取效率，更加适用于大规模、分布式云存储服务需求。

技术方案：一种基于虚拟节点存储优化的Swift负载均衡方法，包括如下步骤：