[发明专利]一种分布式文件系统元数据热度统计方法

说明书

技术领域

本发明涉及数据存储领域，尤其涉及一种分布式文件系统元数据热度统计方法。

背景技术

目前，分布式文件系统已经得到广泛应用，特别是在集群NAS文件系统、大型海量存储系统等应用中显得尤其突出。分布式文件系统分为元数据服务器、数据服务器和客户端。客户在客户端写入数据后首先将数据的元数据信息保存到元数据服务器上，元数据服务器中指定了数据的存放位置，就可以将数据写入到对应的数据服务器端。当客户在客户端存取大量小文件时对元数据服务器压力很大，为了解决元数据的压力，提高元数据服务器端吞吐量，可以通过元数据集群解决这一问题。而开发元数据集群功能必不可少的工作就是有效地统计元数据的热度值，依据元数据的热度值将元数据压力分配到每个元数据进程，从而大大提升分布式文件系统小文件IO性能。

发明内容

本发明要解决的技术问题是提供一种分布式文件系统元数据热度统计方法，能维护整个文件系统下各个目录或文件的热度值，以便后续的负载计算、元数据集群和动态子树分区开发。

一种数据热度统计方法，包括：

接收客户端发送的元数据信息访问请求；

根据所述元数据信息访问请求，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新。

可选地，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新，包括：所述目录或者文件被访问一次，所述目录或者文件的热度值加一。

可选地，还包括：当文件或目录的热度值变化后，累加变化的目录或者文件的上一级目录下的各个目录或者文件当前的热度值，将累加值作为所述目录或者文件的上一级目录新的热度值。

可选地，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新还包括：当两次相邻的访问的时间间隔超过预定阀值，对作为所述元数据访问请求对象的热度值减一。

可选地，所述预定阈值为2秒。

一种数据热度统计装置，包括接收模块，用于接收客户端发送的元数据信息访问请求；更新模块，用于根据所述元数据信息访问请求，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新。

可选地，所述更新模块，用于对作为所述元数据访问请求对象的目录或者文件的热度值进行更新，包括：所述目录或者文件被访问一次，所述目录或者文件的热度值加一。

可选地，所述更新模块，还用于当文件或目录的热度值变化后，累加变化的目录或者文件的上一级目录下的各个目录或者文件的当前的热度值，将累加值作为所述目录或者文件的上一级目录新的热度值。

可选地，所述更新模块，用于对作为所述元数据访问请求对象的目录或者文件的热度值进行更新还包括：当两次相邻的访问的时间间隔超过预定阀值，对作为所述元数据访问请求对象的热度值减一。

可选地，所述预定阀值为2秒。

本发明的创新点之一是将热度衰减时间阈值Tc设为2s，如果Tc设置较小会带来频繁的热度衰减计算；如果Tc设置太长会导致热度衰减不明显，整个文件系统下的热度值维护比较繁琐。经过多次测试证明Tc设置为2s比较合理。

本发明的另一个创新点是父目录热度值为其子目录和/或其下文件热度值之和，这样能依据热度值的大小来实现整个元数据进程负载统计和元数据集群动态子树分区。

附图说明

附图1为方法流程图；

附图2为本发明中分布式文件系统整个目录热度值简单维护模型；

附图3是一个实施例的目录被访问后整个目录热度值的变化模型。

具体实施方式

下面将结合附图及实施例对本发明的技术方案进行更详细的说明。

需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

一种数据热度统计方法，包括：

接收客户端发送的元数据信息访问请求；

根据所述元数据信息访问请求，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新。

图1为方法的流程图。

步骤1：接收客户端发送的元数据信息访问请求；

步骤2：根据所述元数据信息访问请求，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新。

可选地，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新，包括：所述目录或者文件被访问一次，所述目录或者文件的热度值加一。