[发明专利]一种加速文件读写的目录聚合方法、装置、设备和介质

说明书

本发明公开了一种加速文件读写的目录聚合方法，包括：将分布式文件系统内目录下的同级子目录聚合，并以目录链表的形式保存于目录链表map中；将目录下的文件数据与元数据聚合并相互建立映射关系；响应于进行数据读写操作，通过元数据进行查询，元数据通过目录链表map指向源目录，并通过映射关系查询指定的文件数据。本发明还公开了一种装置、设备和介质。本发明提供的一种加速文件读写的目录聚合方法、装置、设备和介质可以解决分布式存储海量文件读写访问慢问题。

技术领域

本发明涉及存储技术领域，更具体地，特别是指一种加速文件读写的目录聚合方法、装置、设备和介质。

背景技术

浪潮AS13000海量分布式存储由多个节点构成，系统中每一个节点都具有计算和存储能力。每个节点都是可机架安装的企业应用装置，系统以对象为数据存储的基础单位，采用全对称、去中心化分布式架构，提供全局统一命名空间，通过共享服务将存储目录分配给前端业务使用存储空间。

而在很多场景应用下，客户通常将集群的共享目录下分散多层子目录以利于管理。所以共享目录下子目录文件个数在累计下可达到数十亿乃至数百亿个，如此多的文件个数通过目录索引进行访问，访问或者读写数据都需要经过文件系统的访问查询，文件量越多，目录层级越深，访问延迟越高，因此很多存储场景下，存储容量达到一定量级后数据交互性越来越差，这也是一直以来的高水位存储读写较慢所被诟病的原因。

传统分布式存储系统的文件访问通过本地系统文件映射关系查询其路径，再根据路径查询到该文件并读写访问。如果在海量文件和多级深度目录场景下，该种方法任何一次文件访问都将重复io查询操作，导致数据读写缓慢。特此提出一种目录聚合方案，来提升海量文件读写访问速度。

发明内容

有鉴于此，本发明实施例的目的在于提供一种目录聚合方案，将目录下的文件，元数据聚合，同时多个同级目录下进行聚合，类似目录链路表。原先的元数据和数据映射，路径查询，数据读写操作等操作简化，直接通过元数据查询，获得文件信息，避免分布式文件系统每次io的路径查询，降低数据访问的时延，提升海量文件读写访问速度。

基于上述目的，本发明一方面提供了一种加速文件读写的目录聚合方法，该方法包括：将分布式文件系统内目录下的同级子目录聚合，并以目录链表的形式保存于目录链表map中；将目录下的文件数据与元数据聚合并相互建立映射关系；响应于进行数据读写操作，通过元数据进行查询，元数据通过目录链表map指向源目录，并通过映射关系查询指定的文件数据。

在本发明的加速文件读写的目录聚合方法的一些实施方式中，方法还包括：通过目录链表map将数据新增到目录中来实现数据新增；通过目录链表map将待修改数据删除并将修改后数据替换到目录中来实现数据修改。

在本发明的加速文件读写的目录聚合方法的一些实施方式中，将分布式文件系统内目录下的同级子目录聚合，并以目录链表的形式保存于目录链表map中还包括：将目录链路map作为源文件映射到内存中。

在本发明的加速文件读写的目录聚合方法的一些实施方式中，将目录下的文件数据与元数据聚合并相互建立映射关系还包括：通过目录内的文件数据和元数据聚合，使相应的元数据的数据寻址可直接访问至文件数据的数据文件中。

在本发明的加速文件读写的目录聚合方法的一些实施方式中，将目录下的文件数据与元数据聚合并相互建立映射关系还包括：使目录中的文件数据和元数据通过聚合作为目录链路map最底层提供访问路径。

本发明实施例的另一方面，还提供了一种加速文件读写的目录聚合装置，该装置包括：聚合模块，聚合模块配置为将分布式文件系统内目录下的同级子目录聚合，并以目录链表的形式保存于目录链表map中；映射模块，映射模块配置为将目录下的文件数据与元数据聚合并相互建立映射关系；查询模块，查询模块配置为响应于进行数据读写操作，通过元数据进行查询，元数据通过目录链表map指向源目录，并通过映射关系查询指定的文件数据。