[发明专利]基于固态硬盘加速的分布式文件系统小文件访问方法

说明书

本发明公开了一种基于固态硬盘加速的分布式文件系统小文件访问方法，步骤包括：设置内嵌文件大小阈值；客户端创建文件时，所创建文件的大小小于内嵌文件大小阈值，则将所创建文件作为内嵌文件内嵌存储到元数据服务器位于固态硬盘中的文件元数据区域，否则存储到对象存储服务器；客户端的进程打开文件时，根据文件元数据信息中的存储位置由元数据服务器或对象存储服务器响应用户访问请求并返回执行结果。本发明将小文件的数据直接存储在固态硬盘的元数据区域中、节省了小文件的数据存储位置的计算时间，节省了小文件访问的通信延时，提升了小文件的访问性能、优化方便、不会加重元数据服务器的负载以及降低分布式文件系统的整体性能。

技术领域

本发明涉及分布式文件系统数据处理技术领域，具体涉及一种基于固态硬盘加速的分布式文件系统小文件访问方法。

背景技术

随着云计算、大数据技术的飞速发展，全球数据量呈爆炸式增长，这为分布式文件系统带来了新的发展机遇与挑战，从高性能计算到数据中心，从数据共享到互联网应用，分布式文件系统已渗透到数据应用的各个方面。当前多数分布式文件系统是针对大规模大数据文件的处理，小文件的存储优化相对缺乏。而随着社会化网络、移动通信和个人终端的发展，小文件在存储系统中所占的比例越来越高。例如社交网站Facebook自成立以来，已经存储了2500亿张以上的图片，淘宝C2C电子商务网站也存储超过280亿张图片，平均大小仅为17.45KB，百度、谷歌搜索到的网页文件均是小文件。因此，小文件的访问优化问题是当前分布式文件系统亟需解决的问题。

在分布式文件系统中，元数据记录了数据逻辑与物理位置的映像关系，以及文件的属性、访问权限等信息，对文件进行访问时，需要先向元数据服务器请求查询对应的元数据，然后通过获得的元数据进行后续的文件读写等I/O操作。因此，分布式文件系统如果想获得更高的系统可扩展性和IO并发性，元数据的管理至关重要，甚至直接影响到系统的性能、可靠性和稳定性等问题。如图1所示，分布式文件系统一般包括客户端（Client）、元数据服务器(Metadata Server)、对象存储服务器(Object-Store Server)、监视服务器，客户端提供标准的POSIX接口的访问能力；元数据服务器用于缓存和同步存储在固态硬盘中的元数据，管理命名空间；对象存储服务器将数据和元数据作为对象存储。为了维护数据的一致性，分布式文件系统设置了从缓存读和写入缓存两项权限，分别标记为RCache和WCache。RCache表示元数据服务器允许客户端从缓存中读取元数据。当客户端获得RCache权限时，表明客户端缓存的元数据信息与元数据服务器上的是保持一致的，可直接从客户端缓存中读取元数据信息。WCache表示元数据服务器允许客户端将数据写入到本地缓存中。当客户端获得WCache权限时，表明客户端缓存的元数据信息与元数据服务器上的是保持一致的，新的元数据可直接写入到缓存中。