[发明专利]一种元数据集群负载平衡实现方法

说明书

技术领域

本发明涉及计算机存储技术，具体的说是一种元数据集群负载平衡实现方法。

背景技术

元数据集群是由多台元数据服务器组成集群，一起提供元数据服务。元数据服务器集群必须把整个文件系统的命名空间按照一定的逻辑分割方法，由不同的元数据服务器进行管理。元数据服务器主要的功能是对元数据库和元数据标准进行管理和操作；可以在多操作系统上运行，如window、Linux操作系统上，元数据服务器本身不能独立运行，需要运行在中间件上面。

任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据，而元数据指用来描述一个文件的特征的系统数据，诸如访问权限、文件拥有者以及文件数据块的分布信息等等。对于大文件而言，数据存储性能是文件系统的瓶颈；而对于小文件而言，元数据存储性能是影响文件系统性能的瓶颈。目前，大部分集群文件系统还是使用单元数据服务器的架构，该架构能满足存储大文件较多的应用，但是无法满足小文件较多的应用场景，并且存在单点失效和元数据服务的可扩展性问题。为了提高文件系统小文件的存储性能，需要开发元数据集群功能，来提高元数据的并发性，从而提高文件系统小文件读写性能。

发明内容

针对现有技术存在的不足之处，本发明提供了一种元数据集群负载平衡实现方法。

本发明所述一种元数据集群负载平衡实现方法，解决上述技术问题采用的技术方案如下：该元数据集群负载平衡实现方法，主要是在集群文件系统中实现多个元数据服务器，通过定时同步各元数据服务器上元数据负载信息，将元数据负载较大的服务器的负载自动分配给压力小的元数据服务器，实现元数据服务器之间的负载平衡。该方法可用在分布式文件系统上，来实现元数据集群之间的负载平衡。

优选的，该元数据集群负载平衡实现方法主要由元数据负载统计模块、元数据集群负载平衡模块两部分组成；通过统计集群文件系统中文件的访问热度来得出元数据负载，并通过元数据集群负载平衡算法将符合导出的有负载的目录分给其他元数据。

优选的，所述元数据负载统计模块：主要是统计一定时间内文件的访问热度来计算元数据负载值；对文件访问热度进行衰减，让在较长时间内不会被访问的文件访问热度值减小或为0。

优选的，集群文件系统目录下文件的读写请求都会和元数据进行消息通信，统计所有的有消息通信的目录访问热度得出相应元数据的负载值。

优选的，所述元数据集群负载平衡模块：将集群文件系统目录设为负载平衡的最小单位，即在集群文件系统中若某个元数据负载较大，则通过负载平衡算法将符合导出目标的有负载的目录分给另一个或其他几个元数据。

优选的，元数据集群依据元数据的个数将有负载的目录导出到其他元数据服务器上；所述负载平衡算法为：

$\mathrm{Expo}{\mathrm{rt}}_{\mathrm{load}}=\frac{1}{n}{\mathrm{MDS}}_{\mathrm{load}}$

其中，Export_load为导出的负载值，n为元数据个数，MDS_load当前元数据负载。

本发明的一种元数据集群负载平衡实现方法与现有技术相比具有的有益效果是：该方法提供了一种有效的提高元数据性能的方法，主要是统计集群文件系统中文件的访问热度来得出元数据负载，通过元数据集群负载平衡算法将符合导出的有负载的目录分给其他元数据；能有效的提高文件系统元数据性能，特别是对小文件的读写性能有明显的提高，解决了小文件存储性能问题；实现了元数据集群的负载平衡，解决了之前只能依赖一个元数据服务器的性能问题，实现了元数据I/O并发。

附图说明

附图1为所述元数据集群负载平衡实现方法的示意框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参考附图，对本发明所述一种元数据集群负载平衡实现方法进一步详细说明。