[发明专利]一种分布式文件系统中提高小文件读取效率的方法

说明书

本发明公开了一种分布式文件系统中提高小文件读取效率的方法，包括：在分布式文件系统挂载节点中构建缓存单元；当存在文件读取操作时，所述分布式文件系统挂载节点将向所述分布式文件存储节点发送lookup操作；基于所述lookup操作判断目标文件是否为小文件；若所述目标文件为小文件，则将小文件对应的文件内容作为所述lookup操作的扩展属性并返回到所述分布式文件系统挂载节点中；提取所述lookup操作的扩展属性中的文件内容并且将所述文件内容存储到所述缓存单元中；在所述分布式文件系统挂载节点的缓存单元中进行文件的打开、读取以及关闭操作。本申请能够在不增加硬件成本的基础上，提高小文件的读取速率。

技术领域

本发明涉及分布式文件系统中的文件读取相关技术领域，特别是指一种分布式文件系统中提高小文件读取效率的方法。

背景技术

分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与分布的节点相连。这样虽然充分利用了储存资源，但是同样会给文件读取带来负担，尤其是在分布式文件系统中读取大量小文件，例如文件大小小于1MB的文件时的读取速度非常慢。其中，原因主要有3个：(1)读取1个文件必须经过查询(lookup)、打开(open)、读取(read)、关闭(close)这4步操作，而相较于大文件，小文件真正的有效操作中的读取(read)操作的占比过低；(2)所有操作都必须通过网络完成挂载节点以及存储节点的通信，而以太网的延迟较大；(3)小文件通常是随机分布在机械盘的各个扇区上，因此，在机械盘寻道时间长，操作过多时会响应不过来。

为了解决上述问题，针对缺点(2)，现有方案通常采用低延迟的无限带宽技术(infiniband)网络来替代以太网，用更高效的远程直接数据存取(rdma，Remote DirectMemory Access)协议来替代TCP/IP协议；针对缺点3，现有解决方案是使用固态硬盘(SolidState Drives)来替代机械盘。

虽然同样能够解决问题，但是现有解决方案全部是基于硬件方面的解决方案，因此导致成本相对要高出很多，这对于很多企业或者场景来说并不适用。

发明内容

有鉴于此，本发明的目的在于提出一种分布式文件系统中提高小文件读取效率的方法，能够在不增加硬件成本的基础上，提高小文件的读取速率。

基于上述目的本发明提供的分布式文件系统中提高小文件读取效率的方法，包括：

在分布式文件系统挂载节点中构建缓存单元；其中，所述分布式文件系统包括分布式文件系统挂载节点以及分布式文件存储节点且分布式文件存储于所述分布式文件存储节点中；

当存在文件读取操作时，所述分布式文件系统挂载节点将向所述分布式文件存储节点发送lookup操作；基于所述lookup操作判断目标文件是否为小文件；其中，所述小文件为文件大小小于预设文件大小阈值的文件；

若所述目标文件为小文件，则将小文件对应的文件内容作为所述lookup操作的扩展属性并返回到所述分布式文件系统挂载节点中；

提取所述lookup操作的扩展属性中的文件内容并且将所述文件内容存储到所述缓存单元中；

在所述分布式文件系统挂载节点的缓存单元中进行文件的打开、读取以及关闭操作。

可选的，所述判断目标文件是否为小文件的步骤还包括：

基于所述lookup操作，在所述分布式文件存储节点中找到目标文件并且得到目标文件的大小；

将目标文件的大小与预设的文件大小阈值进行比较，判断目标文件的大小是否小于预设的文件大小阈值；

若目标文件的大小小于预设的文件大小阈值，则目标文件为小文件；

否则，目标文件不是小文件，则按照正常数据读取操作。