[发明专利]数据存储方法、装置、介质、设备及分布式文件系统

权利要求书

1.一种数据存储方法，其特征在于，应用于分布式文件系统，所述分布式文件系统包括元数据管理节点、基于存算解耦模式的元数据分析进程和采用键值对存储形式的目标数据库，所述方法包括：

启动所述元数据分析进程，并基于所述元数据分析进程从所述元数据管理节点获取待分析元数据；其中，所述元数据分析进程包括解析计算单线程、存储队列和至少一个存储线程；

通过所述元数据分析进程对所述待分析元数据进行解析处理，得到待存储元数据，包括：通过所述解析计算单线程对所述待分析元数据进行解析处理，得到所述待存储元数据；以及将所述待存储元数据存储到所述存储队列中；

基于所述元数据分析进程将所述待存储元数据存储到所述目标数据库中，其中，利用所述至少一个存储线程将所述待存储元数据异步存储到所述目标数据库；包括：确定所述待存储元数据对应的绝对路径以及元数据信息；将所述绝对路径作为列键以及将所述元数据信息作为所述列键的键值，以构建所述待存储元数据对应的第一键值对；基于所述第一键值对将所述待存储元数据存储到所述目标数据库中；其中，根据所述绝对路径将属于同一主目录下的所述键值对存储到所述目标数据库中的同一区域；

其中，所述目标数据库包括多个存储管理节点，所述方法还包括：

根据所述待存储元数据对应的绝对路径确定路径深度值；

结合所述路径深度值、所述绝对路径和所述待存储元数据对应的元数据信息构建所述待存储元数据对应的第二键值对；

基于所述第二键值对将所述待存储元数据分别存储在不同的所述存储管理节点上。

2.根据权利要求1所述的方法，其特征在于，所述待分析元数据包括镜像文件和第一编辑日志，所述通过所述解析计算单线程对所述待分析元数据进行解析处理，得到待存储元数据，包括：

在所述元数据管理节点将所述镜像文件和所述第一编辑日志合并之前，通过所述解析计算单线程对所述第一编辑日志进行解析处理，将解析后的第一编辑日志以及所述镜像文件作为所述待存储元数据。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述待存储元数据平均分发到所述多个存储管理节点中进行存储。

4.根据权利要求1所述的方法，其特征在于，所述待分析元数据包括第二编辑日志，所述方法还包括：

根据所述第二编辑日志确定各所述待存储元数据的读写热度值；

将所述读写热度值大于或者等于热度值阈值的待存储元数据按照存储顺序分别存储在不同的存储管理节点上。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过所述元数据分析进程对应的元数据查询接口获取客户端对存储到所述目标数据库中的元数据的查询分析请求，并根据所述查询分析请求确定待请求元数据的目标路径；

基于所述元数据查询接口，根据所述目标路径从所述目标数据库中筛选目标键值对，并根据所述目标键值对读取所述待请求元数据对应的元数据信息；

将所述元数据信息返回给所述客户端。

6.根据权利要求5所述的方法，其特征在于，所述分布式文件系统包括缓存队列，所述方法还包括：

将所述元数据信息缓存到所述缓存队列中，以在新的查询分析请求需要读取所述元数据信息时，直接从所述缓存队列中读取；以及

如果所述缓存队列中的所述元数据信息的空闲时间大于预设的超时阈值，则将所述元数据信息从所述缓存队列中移除。