[发明专利]在一致性哈希数据分布基础上构建层次目录的方法

说明书

技术领域

本发明涉及在一致性哈希数据分布基础上构建层次目录的方法。

背景技术

随着信息化的深入和发展，数据的规模越来越大，对存储的规模和底层架构的要求也越来越高。面对如此海量的数据存储，传统的服务器从容量和可扩展性方面已经适应不了数据的存储要求，网络存储技术逐渐成为了存储市场上的主流技术。与传统的存储系统相比，网络存储系统在可用性、可用性和成本方面都有较大的优势。而基于一致性HASH的点对点存储系统（P2P）与其他存储技术相比，P2P存储系统在可用性、可扩展性和可靠性方面具有明显的优势，是当前存储技术研究的热点。比较有代表性的是应用于亚马逊Dyanamo系统、Apache Cassandra等。

一致性HASH算法是P2P存储系统的核心算法，在1997年由麻省理工学院提出的一种分布式哈希算法，设计目标是为了解决因特网中的热点问题。一致性哈希算法修正了简单哈希算法带来的问题，具有平衡性、单调性、分散性和负载均衡等特点。在P2P环境中得到真正的应用。一致性哈希算法具有多种具体的实现，包括Chord算法、KAD算法等。经过一致性哈希算法散列之后，当有新的节点加入时，将只影响一台节点的存储情况，例如新加入的节点H的散列在B与C之间，则原先由C处理的一些数据可能将移至H处理，而其他所有节点的处理情况都将保持不变，因此表现出很好的单调性。而如果删除一个节点，例如删除C节点，此时原来由C处理的数据将移至D节点，而其它节点的处理情况仍然不变。这一特点为基于一致性哈希的存储系统在扩展性方面提供了强有力的技术保障。

要解决的技术问题

基于一致性哈希的存储系统，在系统扩展性、负载均衡方面表现出了很大的优势，但由于此种存储系统没有目录层次，是一种扁平化结构，在数据访问方面，是通过键值对应关系，不适合于传统的文件系统应用。

发明内容

针对上述技术缺陷，本发明提出在一致性哈希数据分布基础上构建层次目录的方法。

为了解决上述技术问题，本发明的技术方案如下：

在一致性哈希数据分布基础上构建层次目录的方法，包括如下步骤：

11）物理存储服务器，连接存储硬件设备，通过本地文件系统形成/data1~/dataX物理存储目录，通过存储软件服务器端将不同的物理存储目录虚拟成不同逻辑存储节点；

12）将逻辑存储节点与物理存储目录一对一的映射，并可以按需进行调整，以实现动态迁移；存储客户端以逻辑存储卷为单位挂载文件系统，逻辑存储卷由一个或多个逻辑存储节点组成；

13）通过客户端数据分布与访问层，提供全局命名空间，使得构建的目录层次，在物理存储服务器上的物理存储目录与客户端全局命名空间完全一致。

2、根据权利要求1所述的在一致性哈希数据分布基础上构建层次目录的方法，其特征在于，所述客户端访问一个文件或目录包括如下步骤：

21）首先通过哈希算法，计算出一个哈希值，所述哈希值的计算过程包括如下步骤：首先采用字符串哈希算法，对文件或目录名进行计算，得到一个数字，然后该数字对2的32次方取模，得到最终的哈希值；

22）所述逻辑存储节点对应着相应的数值范围，根据哈希值所属的范围找到相应的逻辑存储节点；根据逻辑存储节点与物理存储服务器上的物理目录有一对一的映射关系，找到相应的物理存储空间。

进一步的，所述客户端创建目录包括如下步骤：

客户端创建目录操作时首先计算目录名的哈希值，然后找到其哈希值的物理存储服务器与物理硬件存储设备，保证在该物理硬件设备上创建成功，其它物理硬件设备上并不立即建立该目录，而是在后台进行补齐，补齐时首先从其哈希值对应的物理硬件存储设备上获取该目录的属性，该属性包括全局标识符GFID、创建时间、修改时间、访问权限。

进一步的，如果创建目录时其父目录还没有同步完成，此时需要立即对其父目录进行补齐；补齐父目录，要到其父目录哈希值值对应的物理硬件存储设备上获取父目录的属性，该属性包括全局标识符GFID、创建时间、修改时间。

进一步的，所述客户端读取目录包括如下步骤：采用如下计算方法将指针二维信息与逻辑目录的指针一维信息做一对一的映射；

二维到一维转换即从物理存储目录到统一命名空间的逻辑存储目录读取：

逻辑指针=物理指针×逻辑存储节点个数＋当前逻辑存储节点编号；

该转换用于从物理硬件存储设备读取目录向上层文件系统返回时，其中，逻辑存储节点个数在逻辑存储卷的配置文件中可以得到，当前逻辑存储节点编号是已知的；