[发明专利]分布式文件系统及其存储海量小文件的方法

摘要

本发明涉及数据存储领域，提供一种分布式文件系统及其存储海量小文件的方法，以解决目前的海量小文件存储的效率较低的问题，该系统包括客户端、资源定位模块和数据存储模块。本发明提出的技术方案将小文件合并成大文件来存储，通过定位到大文件的指定位置来访问小文件，减少了对文件的读写次数，简化了IO访问流程，提高了文件系统的处理性能。

主权项

1.一种分布式文件系统，其特征在于包括客户端、资源定位模块和数据存储模块，/n所述客户端被配置成：向资源定位模块发送小文件上传请求、将小文件上传至数据存储模块；/n所述资源定位模块包括至少一个资源定位器，所述资源定位器被配置成：处理客户端发送的小文件上传请求、为客户端分配源节点、指定数据存储服务器中的一个数据存储节点作为合并存储的主服务器，所述主服务器被配置成：为小文件分配空闲存储单元并完成小文件的合并存储、将小文件的存储信息同步到与主服务器同组的其他数据存储节点，所述源节点为资源定位器查询得到的可用的数据存储节点，所述源节点被配置成：将上传的小文件主动推送至与其同组的其他数据存储节点，所述主服务器还包括为各个数据存储节点分配的以空闲存储单元大小作为关键字的平衡二叉树，所述平衡二叉树用于保存空闲存储单元；/n所述数据存储模块包括至少一组数据存储服务器，所述数据存储服务器包括至少一个数据存储节点，所述数据存储模块被配置成用于实现小文件的存储、同步，所述数据存储节点的存储空间包括大小相等的多个存储单元，所述存储单元包括最小存储空间和最大存储空间，所述主服务器被配置成：当上传的小文件小于最小存储空间时，则上传的小文件占用一个存储空间；当上传的小文件大于最大存储空间时，则上传的小文件作为一个单独的文件存储。/n