[发明专利]一种文件元数据浏览方法及装置

说明书

技术领域

本发明涉及数据存储技术领域，特别是涉及一种文件元数据浏览方法及装置。

背景技术

随着数据存储技术的发展，数据呈现爆炸式增长。针对海量的数据，分布式集群存储具有容量和性能线性扩展的优势，它在高性能、视频监控、广电媒资等多个场景被广泛应用。各种业务场景对分布式集群的性能要求主要有带宽、每秒操作次数OPS和时延等方面，尤其对于小文件场景，重点关注每秒操作次数性能值。在分布式文件系统中，对文件元数据的浏览功能是反映元数据性能的一项重要指标，因此，文件元数据浏览方法显得尤为重要。

现有的文件元数据浏览方法为分布式文件系统将接收到的针对多个文件元数据的多个浏览请求发送给同一个元数据服务进程，使该元数据服务进程对接收到的多个浏览请求挨个进行依次处理，文件元数据浏览速度慢。

发明内容

为解决上述技术问题，本发明提供如下技术方案：

一种文件元数据浏览方法，包括：

接收针对每个目标文件元数据的浏览请求；

根据所述浏览请求的总个数和预设的每个分片接收浏览请求的个数阈值，生成包含相应数量的分片的分片集合；

将每个浏览请求按照该浏览请求对应的目标文件元数据所在的元数据服务进程发送给所述分片集合中相应的分片；

确定每个分片在元数据服务进程集群中对应的元数据服务进程，以使每个元数据服务进程分别处理对应的分片发送的每个浏览请求。

在本发明的一种具体实施方式中，在所述接收针对每个目标文件元数据的浏览请求之前，还包括：

接收分布式文件系统客户端发送的多个目标文件元数据。

在本发明的一种具体实施方式中，所述接收分布式文件系统客户端发送的多个目标文件元数据，包括：

接收分布式文件系统客户端通过哈希算法划分给多个元数据服务进程的多个目标文件元数据。

在本发明的一种具体实施方式中，还包括：

在检测到存在浏览请求处理失败时，通过对应的元数据服务进程调用底层数据进行处理。

在本发明的一种具体实施方式中，还包括：

在检测到每个浏览请求均处理完成时，获得每个处理结果；

将所有处理结果进行汇总。

一种文件元数据浏览装置，包括：

请求接收模块，用于接收针对每个目标文件元数据的浏览请求；

集合生成模块，用于根据所述浏览请求的总个数和预设的每个分片接收浏览请求的个数阈值，生成包含相应数量的分片的分片集合；

请求发送模块，用于将每个浏览请求按照该浏览请求对应的目标文件元数据所在的元数据服务进程发送给所述分片集合中相应的分片；

进程确定模块，用于确定每个分片在元数据服务进程集群中对应的元数据服务进程，以使每个元数据服务进程分别处理对应的分片发送的每个浏览请求。

在本发明的一种具体实施方式中，还包括：

数据接收模块，用于接收分布式文件系统客户端发送的多个目标文件元数据。

在本发明的一种具体实施方式中，所述数据接收模块具体为接收分布式文件系统客户端通过哈希算法划分给多个元数据服务进程的多个目标文件元数据的模块。

在本发明的一种具体实施方式中，还包括：

请求处理模块，用于在检测到存在浏览请求处理失败时，通过对应的元数据服务进程调用底层数据进行处理。

在本发明的一种具体实施方式中，还包括：

结果汇总模块，用于在检测到每个浏览请求均处理完成时，获得每个处理结果；并将所有处理结果进行汇总。

应用本发明实施例所提供的技术方案，接收针对每个目标文件元数据的浏览请求，根据浏览请求的总个数和预设的每个分片接收浏览请求的个数阈值，生成包含相应数量的分片的分片集合，将每个浏览请求按照该浏览请求对应的目标文件元数据所在的元数据服务进程发送给分片集合中相应的分片，确定每个分片在元数据服务进程集群中对应的元数据服务进程，以使每个元数据服务进程分别处理对应的分片发送的每个浏览请求。通过将针对各目标元数据的浏览请求进行分片，确定各分片在元数据服务进程集群中对应的元数据服务进程，使各元数据服务进程分别处理对应的分片发送的浏览请求，浏览请求处理的并发性较强，较大地提升了文件元数据的浏览速度。

附图说明