[发明专利]读取小文件的方法、装置和设备及计算机可读存储介质

说明书

技术领域

本发明涉及分布式存储系统领域，特别是涉及一种读取小文件的方法，还涉及一种读取小文件的装置及设备，也涉及一种存储有计算机程序的计算机可读存储介质。

背景技术

分布式存储系统，是将数据分散存储在多台独立的设备上，以降低网络压力，具有较高的可靠性和安全性。在存储系统中，小文件场景则是需要考虑的核心场景之一，例如，在一些社交购物网站、广电、网络视频中，都会产生文本、图片、音乐等大量的小文件场景。因此小文件的性能问题是文件系统需要考虑的关键问题之一。

在小文件场景下，文件数量众多，磁盘占用率较高；在操作时需要一次写入，多次读写，因此文件操作较为频繁。在现有技术中，每个小文件进行读取时，都需要调用一次数据读取接口，执行一次全读流程，磁盘读数据压力较大。当需要大量读取小文件时，则需要频繁调用所述数据读取接口，小文件读取IO路径较长，且分析元数据、读数据耗时较长，在此种情况下，小文件的读取效率大大降低。

因此，如何缩短小文件的读取IO路径，提高小文件的读取效率，是本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种读取小文件的方法，该方法能够缩短小文件的读取IO路径，提高小文件的读取效率；本发明的另一目的是提供一种读取小文件的装置和设备，均具有上述有益效果；本发明的另一目的是提供一种存储有计算机程序的计算机可读存储介质，也具有上述有益效果。

为解决上述技术问题，本发明提供一种读取小文件的方法，包括：

根据目标小文件的索引节点，判断缓存中是否存在所述目标小文件；

若存在，则直接读取所述目标小文件；

若不存在，则获取包含所述目标小文件的聚合文件，将所述聚合文件中的目标小文件读取至所述缓存，在所述缓存中读取所述目标小文件。

优选的，所述获取包含所述目标小文件的聚合文件，将所述聚合文件中的目标小文件读取至所述缓存，在所述缓存中读取所述目标小文件包括：

根据所述目标小文件的索引节点，获取所述目标小文件在所述聚合文件中的偏移量，根据所述偏移量计算得出聚合对象；

调用数据读取接口，将所述聚合对象读取至所述缓存；

根据所述偏移量计算得出所述目标小文件在所述聚合对象中的起始位置和数据长度，根据所述起始位置和数据长度读取所述目标小文件。

优选的，该方法还包括：

读取所述目标小文件之前，为所述目标小文件设置读写互斥的读锁；

读取所述目标小文件之后，解除所述读锁。

优选的，该方法还包括：

将读取的所述目标小文件发送给用户。

为解决上述技术问题，本发明还提供一种读取小文件的装置，包括：

判断模块，用于根据目标小文件的索引节点，判断缓存中是否存在所述目标小文件；

第一读取模块，用于当所述目标小文件存在时，直接读取所述目标小文件；

第二读取模块，用于当所述目标小文件不存在时，获取包含所述目标小文件的聚合文件，将所述聚合文件中的目标小文件读取至所述缓存，在所述缓存中读取所述目标小文件。

优选的，所述第二读取模块包括：

获取子模块，用于从所述聚合文件中获取包含所述目标小文件的聚合对象；

第一读取子模块，用于将所述聚合对象读取至所述缓存；

第二读取子模块，用于从所述聚合对象中读取所述目标小文件。

优选的，该装置还包括：

上锁模块，用于在读取所述目标小文件之前，为所述目标小文件设置读写互斥的读锁；

解锁模块，用于在读取所述目标小文件之后，解除所述读锁。

优选的，该装置还包括：

发送模块，用于将读取的所述目标小文件发送给用户。

为解决上述技术问题，本发明还提供一种读取小文件的装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任一种读取小文件的方法的步骤。

为解决上述技术问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种读取小文件的方法的步骤。