[发明专利]一种基于分布式文件系统的数据预读装置及其方法

说明书

技术领域

本发明涉及分布式文件系统客户端与服务器端的交互技术，特别涉及一种分布式文件系统在客户端进行小文件之间数据预读的方法和系统。

背景技术

随着信息技术飞速发展，全球数据信息总量迅猛增长，非结构化数据越来越多。据Gartner统计，2010全球数据信息总量达到1.2ZB，并预计以每年至少50%的增长率持续高速增长，其中85%由各种非结构化数据组成，非结构化数据多以文件形式存储在分布式文件系统中。在web2.0、社交网络等新兴应用中，数据信息主要以小文件的形式存在，文件尺寸较小。随着小文件数量越来越多，迫切需要分布式文件系统有效管理海量小文件，提供高性能、低延时的小文件访问服务。

在大规模分布式文件系统中，元数据与数据分离的结构已经成为了一种趋势。元数据服务器负责维护文件系统全局命名空间，管理文件逻辑位置与磁盘物理位置的映射关系，为文件分配物理存储资源，元数据记录在专有的元数据存储设备中。客户端文件数据访问不必通过元数据服务器，而是采用带外方式直接访问专有的数据存储设备，从而获取较高的数据访问性能。上述结构对大文件访问非常有效，大文件数据在专有数据存储设备中，数据分布在存储设备上的空间连续性好，并且大文件大粒度连续数据访问的情况通常较多，可以充分发挥数据存储设备的大粒度顺序访问的性能优势。

然而在海量小文件数据读取访问中，由于数据读取粒度小并且不同小文件之间的数据访问空间连续性差，难以发挥数据存储设备的大粒度顺序访问的性能优势，导致海量小文件的访问性能远远低于大文件的访问性能，性能差距达到10倍以上。

预读是提升小文件读取访问性能的一个主要方法，通过把将要访问的数据预先读取到客户端缓存，后续客户端访问时可以在缓存中获取数据，节省了同步从磁盘读取数据的开销，达到较低的访问延迟。目前的预读算法主要针对单个大文件进行，根据单个文件内历史访问的逻辑位置，预测后续将要访问的逻辑位置，并预读将要访问的逻辑位置的数据。然而，小文件通常一次读取全部文件数据，没有历史访问信息，因此上述预读算法对小文件无效。此外，针对文件内逻辑位置进行预读，没有考虑物理位置读取的空间连续性，对于物理空间连续性较差的文件，不能发挥数据存储设备的连续访问性能优势。

发明内容

本发明所要解决的技术问题在于提供一种基于分布式文件系统的数据预读装置及其方法，以克服现有技术中存在的海量小文件应用场景中分布式文件系统无法有效降低小文件数据读取访问延迟、无法充分发挥数据存储设备大粒度顺序访问性能优势的问题。

为达上述目的，本发明提供了一种基于分布式文件系统的数据预读装置，其特征在于，所述数据预读装置包括：客户端模块、元数据服务器模块和数据存储模块：

所述客户端模块通过访问所述元数据服务器模块获取目录读取扩展授权和小文件布局，根据所述小文件布局将小文件数据和与所述小文件数据空间连续的大粒度数据同时从所述数据存储模块中预读到所述客户端模块的缓存中。

上述基于分布式文件系统的数据预读装置，其特征在于，

所述元数据服务器模块用于进行目录读取扩展授权的管理和小文件布局信息的维护，接收获取目录读取扩展授权和小文件布局的请求，并返回所述目录读取扩展授权和所述小文件布局；

所述数据存储模块用于提供数据存储与访问接口，接收读取特定物理位置的访问请求，并返回数据读取内容；

所述客户端模块用于向所述元数据服务器模块发送获取目录的读取扩展授权的请求，根据获取到的所述目录读取扩展授权，所述客户端模块向所述元数据服务器模块发送获取小文件布局的请求，并根据获取到的所述小文件布局向所述数据存储模块发送数据读取请求，完成所述小文件数据和所述大粒度数据内容读取。

上述基于分布式文件系统的数据预读装置，其特征在于，所述元数据服务器模块还包括：

目录读取扩展授权管理模块：用于接收所述客户端模块发送的所述获取目录读取扩展授权的请求，并向所述客户端授予所述目录读取扩展授权；

文件布局维护模块：用于接收所述客户端发送的小文件布局的请求，并向所述客户端应答记录维护的所述小文件布局。

上述基于分布式文件系统的数据预读装置，其特征在于，所述客户端模块还包括：

目录读取扩展授权获取模块：用于向所述目录读取扩展授权管理模块发送获取目录读取扩展授权的请求，并在获取目录读取授权后进行记录；

文件布局获取模块：用于向所述文件布局维护模块发送获取小文件布局请求，以获取小文件布局，获取所述小文件布局后进行记录；