[发明专利]分布式文件系统的存储方法、装置、设备及存储介质

说明书

本发明公开了一种分布式文件系统的存储方法、装置、设备及存储介质。所述方法包括：接收客户端发送的对目标文件的写入请求；根据所述写入请求确定目标文件信息和待写入内容，并确实所述待写入内容的大小；响应于所述待写入内容的大小未超过预设值，则生成用于存储所述目标文件信息的元数据，并在所述元数据中增加用于存储所述待写入内容的内联字段；将包含所述目标文件信息和所述待写入内容的元数据进行落盘以存储到元数据池。本发明的方案能够将数据量相对较小的目标文件的目标文件信息和待写入内容同时落盘存储到元数据池中，从而减少了对小文件的写盘次数，缩短小文件读写IO路径有效的提升了存储效率，同时也极大的方便了后续的数据加载。

技术领域

本发明涉及存储领域，更具体地说涉及一种分布式文件系统的存储方法、装置、设备及存储介质。

背景技术

分布式文件系统是指文件系统管理的物理存储资源不直接连接在本地节点上，而是通过计算机网络与节点(可简单的理解为以一台计算机)相连，或者是若干不同的逻辑磁盘分区或卷标组合在一起形成的完整有层次的文件系统。近些年来分布式文件系统被广泛的应用在视频监控、广电媒资等用场景。

目前，现有分布式文件系统的存储方式采用元数据保存文件信息例如文件名称、大小、位置等属性信息，将文件内容采用普通方式写入磁盘，此种方式需要对多一个文件进行至少两次落盘，并且在读取是也需要先加载元数据池中的文件信息，再根据文件信息读取文件内容。此种存储方式的写入效率和读取效率都很低，因此亟需改进。

发明内容

有鉴于此，有必要针对以上技术问题提供能够减少落盘次数、提高存储效率的一种分布式文件系统的存储方法、装置、设备及存储介质。

根据本发明的第一方面，提供了一种分布式文件系统的存储方法，所述方法包括：

接收客户端发送的对目标文件的写入请求；

根据所述写入请求确定目标文件信息和待写入内容，并确实所述待写入内容的大小；

响应于所述待写入内容的大小未超过预设值，则生成用于存储所述目标文件信息的元数据，并在所述元数据中增加用于存储所述待写入内容的内联字段；

将包含所述目标文件信息和所述待写入内容的元数据进行落盘以存储到元数据池。

在其中一个实施例中，所述方法还包括：

响应于所述待写入内容的大小超过预设值，则生成用于存储所述目标文件信息的元数据，并将所述目标文件信息落盘存储到元数据池；

根据所述目标文件信息确定目标存储位置，并将所述待写入内容落盘存储至所述目标存储位置。

在其中一个实施例中，所述方法还包括：

接收客户端发送的对目标文件的读取请求；

根据所述读取请求从元数据池中加载对应元数据；

响应于所述对应元数据具有内联字段，则读取对应元数据的内联字段并作为结果返回至客户端。

在其中一个实施例中，所述方法还包括：

响应于所述对应元数据不具有内联字段，则根据所述对应元数据确定目标文件的目标存储位置；

根据所述目标存储位置读取数据并作为结果返回至客户端。

在其中一个实施例中，所述元数池对应的物理存储设备为固态硬盘。

在其中一个实施例中，所述目标存储位置对应的物理存储设备为机械硬盘。

在其中一个实施例中，所述预设值为64千字节。

根据本发明的第二方面，提供了一种分布式文件系统的存储装置，所述装置包括：