[发明专利]一种可扩展的数据存储系统

说明书

技术领域

本发明涉及通信技术领域，特别是可扩展的数据存储系统及方法。 

背景技术

随着通信网络应用规模的不断扩大，数据量呈几何级的增长，以及分布式网络的兴起，企业以及用户将越来越多的业务分布于不同的机器、不同的操作平台上，电信、金融、社保等领域服务都是建立在海量数据存储的基础上，而且这些数据必须万无一失。因而，全方位、多层次的“数据容灾备份系统”正成为市场主流。 

DHT(Distributed Hash Table，分布式哈希表)是一种分布式存储寻址方法的统称。DHT的主要思想是：首先，每条文件索引被表示成一个(key，value)对，key称为关键字，可以是文件名(或文件的其他描述信息)的哈希值，value是实际存储文件的节点的地址(或节点的其他描述信息)。所有的文件索引条目(即所有的(key，value)对)组成一张大的文件索引哈希表，只要输入目标文件的key值，就可以从这张表中查出所有存储该文件的节点地址。然后，再将上面的大文件哈希表分割成很多局部小块，按照特定的规则把这些小块的局部哈希表分布到存储系统中的所有参与节点上，使得每个节点负责维护其中的一块。这样，节点查询文件时，只要把查询报文路由到相应的节点即可(该节点维护的哈希表分块中含有要查找的(key，value)对)。 基于分布式哈希表(DHT)的分布式检索和路由算法具有查找可确定性、简单性和分布性等优点。 

目前的分布式存储平台如(Dynamo)采用哈希算法切分数据，分放在不同的数据服务器节点(node)上。进行读(Read)操作时，根据key的哈希值寻找对应的node。而在Consistent Hashing算法中，node对应的不再是一个确定的hash值，而是一个hash值范围，key的hash值落在这个范围内，则数据存储在该node上。 

在这种模式下，node对应的数据是和hash值绑定的，系统中增减node会导致原有node负责的hash范围发生改变，数据必须迁移才能满足新的服务器部署。例如，原本只有node2、node3和node4三个节点，在加入新的node1之后，原先从node2查询的部分key将改为从node1查询，node1和node2中的数据就需要调整，主要是node1从node2中提取出属于它的数据，这样的数据迁移会导致消耗比较大的代价。 

发明内容

有鉴于此，本发明的目的在于提供一种能够灵活扩展的分布式数据存储系统，当增加新的节点时，不需要对原有的数据进行迁移。 

为实现上述目的，本发明的实施例提供了一种数据存储系统，包括用于根据数据的散列码向不同索引服务器发出请求数据位置的读写数据指令，并到所述数据位置完成数据读写的客户端，还进一步包括： 

至少一个索引服务器，用于维护数据散列码和数据存储位置的索引表，并接受所述客户端的读写指令，根据数据的散列码查找索引表，将数据位置的信息返回给所述客户端完成数据的读写； 

至少一个数据服务器，用于保存数据，并根据所述客户端的指令完成数据的读写。 

本发明的实施例还提供了一种基于所述数据存储系统的数据存储方法，包括： 

获取待存储数据的散列码； 

根据所述获取的散列码，确定负责该散列码所在范围的索引服务器，向相应索引服务器请求数据的写入位置； 

所述索引服务器请求一个或一个以上可用的数据服务器，并在索引表中记录该数据在数据服务器上的存储位置； 

索引服务器通知客户端将数据存储到相应的数据服务器。 

本发明的实施例还提供了一种基于所述数据存储系统的数据读取方法，包括： 

获取待读取数据的散列码； 

根据所述获取的散列码，确定负责该散列码所在范围的索引服务器； 

所述索引服务器查找索引表，找到该散列码对应数据在数据服务器上存储的位置信息，并将该位置信息返回给客户端； 

所述客户端从所述数据服务器的相应读取相应数据。 

本发明的实施例还提供了一种基于所述数据存储系统的扩展方法，包括： 

当需要在系统中增加新的数据服务器时，所述新的数据服务器建立与各索引服务器的连接关系，并向各索引服务器上报自身的空闲空间容量及读写负载情况。 

本发明的实施例还提供了另一种基于所述数据存储系统的扩展方法，包 括：