[发明专利]一种对于海量小文件在分布式存储系统中上载的方法

权利要求书

1.一种对于海量小文件在分布式存储系统中上载的方法，所述上载方法包括下述步骤：

(1)客户端根据操作系统的标准POSIX语义，查找带有创建请求的目标文件；

(2)元数据服务器对文件进行预创建，建立文件池；

(3)利用元数据服务器聚合管理文件元数据；

(4)经内核模块对文件排序后批量同步上载；

所述步骤(2)中，所述元数据服务器对文件进行预创建，建立文件池步骤如下：

2-1为待创建文件分配唯一标识；

2-2向数据服务器发起对象创建请求，并等待处理完成；

2-3进行元数据创建操作；

2-4返回客户端；

所述步骤2-3中，所述进行元数据创建操作，包括在元数据服务器上预先创建一定数目的文件，并放入备用文件池中；当客户端有创建请求到来时，从文件池中分配一个文件，返回给客户端即可；当空闲文件池中没有可用文件时，元数据服务器直接向数据服务器发起对象创建请求，同时，唤醒后台线程向文件池填充空闲文件。

2.如权利要求1所述的上载方法，其特征在于，所述步骤(1)中，所述客户端为分布式文件系统的入口，根据文件系统的标准POSIX语义，合并文件的查找和创建动作；如果检测到本次查找的意图是创建，则在服务端完成创建动作，并由查找请求将对应文件元数据带回。

3.如权利要求1所述的上载方法，其特征在于，所述步骤(3)中，所述聚合管理是将文件的元数据存放在一个元数据文件中。

4.如权利要求3所述的上载方法，其特征在于，如果一个元数据文件管理N个元数据，此时操作磁盘的次数将由原来的N次减小为1次。

5.如权利要求1所述的上载方法，其特征在于，所述步骤(4)中，批量同步上载的方法包括下述步骤：

步骤4-1.将多个小文件同时写入操作系统的文件缓存，由系统后台线程回写，回写时按批聚合，不进行单次操作的磁盘同步；

步骤4-2.引入内核模块，按照文件在磁盘上的数据块排列顺序，从小到大并发同步；

步骤4-3.对由元数据发起的创建对象请求进行批量聚合处理，完成同步上载。