[发明专利]负载均衡方法及系统和管理服务器

说明书

技术领域

本发明实施例涉及通信技术领域，特别涉及一种负载均衡方法及系统和管理服务器。

背景技术

在服务型的分布式存储系统中，每个存储服务器节点都是专门部署用来提供服务的高性能服务器。数据的分布状况对分布式存储性能有极大的影响。如果数据分布均匀合理，数据访问的负载均匀分布在各个存储服务器节点上，较少出现负载失衡导致的服务质量降低和系统资源不能充分利用的状况。由于互联网和用户需求的增长，为了满足分布式系统的可扩展性，存储系统需要加入新存储服务器节点例如：新服务器。

新存储服务器节点加入后对系统中数据分布有重要的影响。由于新存储服务器节点不包含任何数据，若不向新存储服务器节点填充数据，加入的新存储服务器节点在初始时间可能得不到有效利用。在已有的分布式存储系统和相关研究中对新加入系统后数据的分布有了一些研究和处理方式。在一些基于规则来确定数据的存储位置的系统中，新存储服务器节点加入后按照规则将相应的数据迁移到新存储服务器节点；在一些以定位表机制寻找数据的分布式系统中，按照磁盘利用率来确定迁移数据，使得各个存储服务器节点的磁盘利用率趋于均衡。

现有的一种负载均衡策略为谷歌文件系统(the Google File System；简称：GFS)。图1为现有GFS的系统架构图，如图1所示，GFS集群由一个管理服务器1(Master)和多个块服务器2(Chunkserver)即存储服务器节点组成。管理服务器1用于管理所有文件系统的元数据，包括：名字空间(namespace)、访问控制信息、文件到文件块(chunk)的映射关系、当前文件块位置等信息。连接到各应用系统的GFS客户节点代码中包括文件系统的应用程序编程接口(Application Programming Interface；简称：API)，可以与管理服务器1和块服务器2进行通讯，代表应用程序进行读写数据的操作。客户节点3和管理服务器1进行元数据的操作，但是所有的数据相关的通讯是直接和块服务器2进行的。GFS重新均衡的步骤一般包括：首先，管理服务器1定期获取各个块服务器2中副本的分布情况。然后，根据磁盘剩余空间和分片分布所需要满足的条件(例如：不能在同一个机架等)迁移分片，例如：GFS将磁盘空间利用率高于平均水平的块服务器2的文件移动分布到新加入的块服务器上，以平衡磁盘空间利用率。

采用GFS进行海量存储系统内的负载均衡和文件发布时，GFS中发布的文件优先存储在磁盘空间利用率低的存储服务器节点，可以使新加入的块服务器上存储更多新内容；限制每一个块服务器上的“最近”创建文件的数量，但只在新文件发布频繁时起一定作用；GFS渗透使用一个新存储服务器节点，管理服务器必须决定哪个副本需要移动，一般倾向于高于平均磁盘空间利用率的块服务器的文件块移动分布到新存储服务器节点，以平衡磁盘空间使用；GFS中定期进行副本均衡，将副本调整到更好的磁盘和负载分布，但没有动态负载均衡。因此，GFS的新加入的块服务器上存储的新文件内容比旧的块服务器上存储的新内容多，而访问新文件的概率更大，容易出现新的块服务器的负载过重、系统服务质量和系统资源利用率降低的现象。并且由于GFS中没有动态负载均衡，对于新加入的块服务器，均衡系统负载需要的时间较长，如果系统负载过重，在系统均衡前，系统的服务质量较差。

现有的另一种负载均衡策略为在内容分发网络(ContentDistribution Network；简称：CDN)中加入新的存储服务器节点。CDN构成一个虚拟树；新节点加入时，在整个网络中发送一遍新节点加入通知信息，通知信息中携带位图(bitmap)；各节点根据新节点的位图信息，比较本地存储的内容有哪些新节点应该存储，返回应答消息时携带内容信息和自身性能；新节点从接收到的各应答消息中，获知应存储的内容，及应存储内容所在的节点位置，从不拥塞的节点下载自己应存储的内容，完成“学习”过程。新加入节点存储的内容由“规则”确定，而且CDN中新节点存储了某个内容不会导致其他节点对该内容副本的删除。在CDN中加入新存储服务器节点时，数据迁移到新存储服务器节点后，原存储服务器节点数据并不删除。