[发明专利]一种文件加载方法和装置

说明书

一种文件加载方法和装置，包括：文件加载装置建立磁盘文件的内存映射文件，从所述内存映射文件中顺序读取数据，且向操作系统多次发送预读取通知，每次通知所述操作系统将所述磁盘文件中指定位置和指定数据量的数据预读取到所述内存映射文件对应的内存中；文件加载装置按照数据的存储格式，将从所述内存映射文件读取的数据存储到内存最终的数据结构中。所述文件加载装置包括数据加载模块、文件读取模块和内存管理模块模块。本申请的文件加载方法和装置可以提高文件的加载速度，还可以使加载过程中的内存使用量稳定可控。

技术领域

本发明涉及计算机领域，更具体地，涉及一种文件加载方法和装置。

背景技术

在大规模分布式文件系统中，为了满足海量客户端的高并发低延迟的访问需求，元数据服务器(Meta Server)通常将所有元数据均存放在内存中，同时通过记录元数据操作日志(operation log)并定期产生元数据内存映像文件(checkpoint file)来实现元数据的持久化存储。元数据内存映像文件通常包含多个数据区(data section)和一个文件头(header)。数据区记录了目录路径树、文件表、数据副本位置等大量元数据，并对其中大块的数据(例如超过4KB)进行了压缩以节省空间；文件头记录了数据区的起始结束信息、压缩参数等。

元数据内存映像文件的快速加载对于提升分布式文件系统的可用性和可运维性具有重要意义。当元数据服务器由于软件升级、故障等原因重启时，为了恢复内存中的元数据，需要加载最近产生的一个内存映像文件并重新执行该文件之后的所有操作日志。一方面，元数据内存映像文件的加载步骤是在元数据服务器升级和故障恢复的关键路径之上，缩短加载用时能够直接缩短元数据服务器的升级用时和故障恢复时间；另一方面，大规模场景下元数据服务器的内存映像文件数据量可达数百GB，加载步骤的耗时可占到元数据服务器重启总时间的50％～80％以上，对升级用时和故障恢复时间影响显著。

按照所使用的文件读取方式，现有的文件加载方法可以分为两种：

第一种是基于文件接口的方法：使用文件读取接口(例如C语言的fread函数、Java语言File API)来顺序读取内存映像文件数据然后进行处理，将读取到的元数据存储到相应的内存结构中。在读取线程调用文件读取接口的过程中，文件库(file library)会不断调用操作系统的读取函数将数据从磁盘加载到内存中，并拷贝到用户或者库自己的缓冲区(buffer)中。在读取内存映像文件过程中，当遇到压缩过的元数据块时，可以同步的对其进行解压缩然后处理，也可以将数据拷贝到临时的内存缓冲区中然后交给专门的线程来异步解压缩到最终的元数据内存结构中。

这种方法至少存在以下两个影响加载速度的问题：1、文件库内部实现的开销：文件库(例如，glibc file)为了维护内部buffer、保证并发安全等目的，在每次操作时需要进行多项状态值更新和维护工作。当每次读取的数据量很小时(例如，元数据文件中的数据块之间存在很多的四字节的整数)，库内部的实现开销在一次读取操作的总开销中的占比将很高，降低了CPU有效利用率，从而降低了数据读取速度。2、内存拷贝开销：当操作系统将数据从磁盘读取到系统内核内存空间(kernel space)后，文件接口需要一次内存拷贝将数据从内核空间拷贝到读取线程所在的用户内存空间(user space)。在此之后，读取线程才能进一步将这些数据解压缩到最终的元数据内存结构中。虽然内存拷贝较快，但在几百GB的大数据量时耗时明显。