[发明专利]分布式文件系统及其存储海量小文件的方法

权利要求书

1.一种分布式文件系统，其特征在于包括客户端、资源定位模块和数据存储模块，

所述客户端被配置成：向资源定位模块发送小文件上传请求、将小文件上传至数据存储模块；

所述资源定位模块包括至少一个资源定位器，所述资源定位器被配置成：处理客户端发送的小文件上传请求、为客户端分配源节点、指定数据存储服务器中的一个数据存储节点作为合并存储的主服务器，所述主服务器被配置成：为小文件分配空闲存储单元并完成小文件的合并存储、将小文件的存储信息同步到与主服务器同组的其他数据存储节点，所述源节点为资源定位器查询得到的可用的数据存储节点，所述源节点被配置成：将上传的小文件主动推送至与其同组的其他数据存储节点，所述主服务器还包括为各个数据存储节点分配的以空闲存储单元大小作为关键字的平衡二叉树，所述平衡二叉树用于保存空闲存储单元；

所述数据存储模块包括至少一组数据存储服务器，所述数据存储服务器包括至少一个数据存储节点，所述数据存储模块被配置成用于实现小文件的存储、同步，所述数据存储节点的存储空间包括大小相等的多个存储单元，所述存储单元包括最小存储空间和最大存储空间，所述主服务器被配置成：当上传的小文件小于最小存储空间时，则上传的小文件占用一个存储空间；当上传的小文件大于最大存储空间时，则上传的小文件作为一个单独的文件存储。

2.根据权利要求1所述的分布式文件系统，其特征在于所述主服务器为数据存储服务器中最先启动的数据存储节点或最近一次与资源定位器发起主动连接的数据存储节点。

3.一种分布式文件系统存储海量小文件的方法，其特征在于包括步骤：

A、组建权利要求1或2所述的分布式文件系统；

B、当用户需要上传小文件时，通过客户端向资源定位器发起上传请求，资源定位器为客户端分配源节点并指定数据存储服务器中的一个数据存储节点作为主服务器，所述主服务器为小文件分配空闲存储单元并完成小文件的合并存储，文件合并存储结束后，将空闲存储单元的使用情况发送至主服务器；

C、源节点将小文件及其存储信息同步到与源节点同组的其他数据存储节点；

D、主服务器将合并存储日志同步到与主服务器同组的其他数据存储节点。

4.根据权利要求3所述的分布式文件系统存储海量小文件的方法，其特征在于所述步骤B具体包括步骤：

B1、当用户需要上传文件时，由客户端向资源定位器发起上传请求；

B2、资源定位器查询可用的数据存储节点作为源节点并指定主服务器；

B3、资源定位器将源节点的IP和端口信息返回给客户端；

B4、客户端上传小文件到源节点；

B5、源节点判断其本身是否是主服务器，如果不是，执行步骤B6，反之则跳转至步骤B7；

B6、源节点发送请求到主服务器，请求主服务器分配一个可用的空闲存储单元进行合并存储，转入步骤B10；

B7、源节点查找主服务器的平衡二叉树是否有合适的空闲存储单元，如果没有，则执行步骤B8，反之则跳转至步骤B9；

B8、使用一个新的存储单元进行小文件的存储，存储完毕后将存储单元的剩余存储空间作为空闲存储单元添加至平衡二叉树，转入步骤B10；

B9、将查找到的空闲存储单元分成两部分，将空闲存储单元的一部分存储文件，将空闲存储单元的另一部分作为新的空闲存储单元加入到平衡二叉树，转入步骤B10；

B10、文件合并存储结束后，将空闲存储单元的使用情况发送至主服务器，将生成的合并文件ID返回给客户端。

5.根据权利要求3所述的分布式文件系统存储海量小文件的方法，其特征在于所述合并存储日志包括文件的操作信息、大文件名、小文件在大文件中的偏移量、小文件占用的存储空间大小。

6.根据权利要求3所述的分布式文件系统存储海量小文件的方法，其特征在于所述步骤C还包括：

启动线程对日志文件进行轮询，检查是否有需要同步的文件，并将已同步的文件记录到标识文件；

数据存储节点定时将自身的状态信息上报给资源定位器；

源节点向资源定位器报告其向每个数据存储节点同步小文件及其存储信息的时间点。