[发明专利]一种基于cifs共享的分布式海量文件查询系统和方法

说明书

本发明涉及一种基于cifs共享的分布式海量文件查询系统和方法，包括：依次连接的cifs客户端、samba服务端、分布式文件系统客户端、元数据服务器和内容数据服务器，samba服务端设有文件查询vfs模块和通用vfs模块，分布式文件系统客户端设有文件查询模块和通用文件操作模块，元数据服务器设有文件查询加速模块和通用元数据操作模块。本发明采用分布式文件系统的MDS服务通过为目录维护快速查找表来实现快速查询功能，查找表利用大写文件名的哈希值作为键值来创建哈希链表。为了避免维护查找表所带来的性能下降，设置阈值，指定阈值以下不再维护查找表。本发明提高了在cifs共享下，分布式文件系统中文件的访问速度。

技术领域

本发明涉及一种基于cifs共享的分布式海量文件查询系统和方法，是一种计算机存储和处理的方法，是一种海量文件访问优化方法。

背景技术

随着大数据时代到来，相比传统存储架构具有强大横向扩展能力的分布式存储文件系统越来越受到人们的青睐。为了便于各种不同操作系统客户端，如windows、linux、macos等，能够统一访问存储，通常的做法是将分布式存储的空间用一种统一网络访问协议共享出去。Cifs共享协议就是最常见的一种，它在linux系统上的实现方式是samba服务。

虽然使用cifs协议共享存储空间给用户使用带来了极大发方便，但同时也引入了一个问题。Cifs协议最初是为了windows系统之间共享存储空间而开发的，该协议和windows系统本身一样对于文件名是大小写不敏感的，这在共享的服务端也是windows系统的时候没有问题。不过遗憾的是现在主流分布式文件系统大多是在linux系统上开发的，linux系统是文件名大小写敏感的。

如果直接将linux系统上的存储空间共享给windows系统，那么可能会出现windows系统中的应用报告文件不存在的错误，但事实上却是共享存储中存在应用请求的文件，只不过文件名的大小写形式不同罢了。为了解决这个问题linux系统中的共享samba服务在收到windows客户端的访问请求时会首先打开要访问文件的目录，读取目录中的文件列表，将文件列表中的文件按大小写不敏感的方式与目标文件名进行一一对比，从而找到实际的文件名，然后用该文件名访问存储。

这样做在逻辑上是没有问题的，但是当目录中包含大量文件的时候这种做法会带来性能的急剧下降。这种性能的下降在共享存储是本地文件系统的时候还没有那么明显，但当共享的存储是分布式文件系统时，性能的下降就会非常明显，这是因为分布式文件系统对于目录的遍历会花费更多的时间，尤其当目录中包含海量文件的时候，消耗的变得难以忍受。

发明内容

为了克服现有技术的问题，本发明提出了一种基于cifs共享的分布式海量文件查询系统和方法。所述的方法，通过为目录维护查找表，在检索时利用文件名哈希值的方式，大大提高了文件访问速度。

本发明的目的是这样实现的：一种基于cifs共享的分布式海量文件查询系统，所述查询系统包括：依次连接的cifs客户端、提供cifs共享的samba服务端、提供存储服务的分布式文件系统客户端、元数据服务器和内容数据服务器，samba服务端设有文件查询vfs模块和通用vfs模块，所述的分布式文件系统客户端设有文件查询模块和通用文件操作模块，所述的元数据服务器设有提供mds服务的文件查询加速模块和通用元数据操作模块。

进一步的，所述的samba服务端的文件查询vfs模块处于samba核心服务和底层文件系统之间，所述的文件查询vfs模块为samba服务按照预定义标准提供文件名查询接口。

进一步的，所述的分布式文件系统客户端向文件查询vfs模块提供文件名查询接口，所述的文件名查询接口的形式为扩展属性查询接口，目录路径为要查询扩展属性的路径参数，要查询的文件名为该路径下的扩展属性名称。

进一步的，所述的分布式文件系统客户端通过私有协议调用mds服务内的文件查询模块。