[发明专利]分布式存储系统中的分区平衡方法、装置及服务器

说明书

技术领域

本发明涉及通信领域，尤其涉及一种分布式存储系统中的分区平衡方法、装置及服务器。

背景技术

随着计算机技术和网络技术的发展，信息量呈现几何级数的增长，人类的数据达到前所未有的规模，对这些超大规模数据的存储和管理已经成为工业界一大挑战。用传统的集中存储管理超大规模数据时，无法提供高效的读写操作，无法满足良好的扩展性以及高可用性。在这种背景下，出现了各种基于非关系型数据库的分布式存储系统。

只要涉及到数据存储，就必然存在数据损坏后的恢复操作。在各种基于非关系型数据库的分布式存储系统中，因为存储规模庞大，所以单点故障会成为系统的常态。所述分布式存储系统中一般都保存有多份副本，所以，维持数据的副本数量稳定也成为系统的迫切需求。另外，随着人们对存储系统可持续工作需求的日益剧增，分布式存储系统的在线扩容也成为系统基本功能的不可或缺部分。那么怎么在系统数据有损坏的情况下尽快的做好数据恢复、系统容量不足时如何及时做好系统的在线扩容需求，成为当前技术的重点。所述数据恢复和在线扩容一般被统称为分区平衡。

目前，没有关于分布式存储系统分区平衡的技术方案公开。

发明内容

本发明实施例提供一种分布式存储系统中的分区平衡方法、装置及服务器，能够实现分布式存储系统的分区平衡，也即实现数据恢复和在线扩容。

为了解决上述技术问题，本发明实施例公开了如下技术方案：

第一方面，本发明实施例提供一种分布式存储系统中的分区平衡方法，包括：

需要进行分区平衡时，确定各个分区的最新状态；

根据各个分区的最新状态进行分区平衡处理，得到源节点、源节点上的迁移分区以及目标节点三者之间的对应关系；

向所述对应关系中的目标节点发送迁移任务；所述迁移任务中包括：在所述对应关系中，所述目标节点对应的源节点以及源节点上的迁移分区；所述迁移任务用于指示目标节点触发目标节点与对应的源节点之间的数据迁移，所述数据迁移是将源节点上迁移分区中的数据迁移至目标节点。

结合上述第一方面，在第一种可能的实现方式中，所述分区平衡处理为数据恢复处理；所述根据各个分区的最新状态进行分区平衡处理包括：

统计处于故障状态的节点上的分区，将统计得到的分区作为故障分区；

对于每个故障分区，确定故障分区的副本分区，从故障分区的副本分区中确定一个处于参与允许状态的副本分区作为该故障分区的迁移分区，将所述迁移分区所在的节点作为源节点；

确定每个迁移分区对应的目标节点，得到源节点、源节点上的迁移分区以及目标节点之间的对应关系。

结合上述第一种可能的实现方式，在第二种可能的实现方式中，所述确定每个迁移分区对应的目标节点包括：

根据以下原则确定每个迁移分区对应的目标节点：同一分区的副本分区不在同一节点、或同一框、或同一机架。

结合上述第一方面，在第三种可能的实现方式中，所述分区平衡处理为在线扩容处理；所述根据各个分区的最新状态进行分区平衡处理包括：

分别计算扩容前和扩容后节点的平均分区数，并且，确定新增加的节点为目标节点；

根据所述各个分区的最新状态以及所述扩容前和扩容后节点的平均分区数确定各个目标节点对应的源节点和迁移分区，得到目标节点、源节点以及源节点上迁移分区之间的对应关系。

结合上述第一方面，和/或，第一种可能的实现方式，和/或，第二种可能的实现方式，和/或，第三种可能的实现方式，在第四种可能的实现方式中，确定各个分区的最新状态包括：

根据当前正在进行平衡处理的各个分区的状态更新分区状态表，得到各个分区的最新状态，所述分区状态表中存储有各个分区的状态。

第二方面，本发明实施例提供一种分布式存储系统中的分区平衡装置，包括：

确定单元，用于需要进行分区平衡时，确定各个分区的最新状态；

处理单元，用于根据各个分区的最新状态进行分区平衡处理，得到源节点、源节点上的迁移分区以及目标节点三者之间的对应关系；

发送单元，用于向所述对应关系中的目标节点发送迁移任务；所述迁移任务中包括：在所述对应关系中，所述目标节点对应的源节点以及源节点上的迁移分区；所述迁移任务用于指示目标节点触发目标节点与对应的源节点之间的数据迁移，所述数据迁移是将源节点上迁移分区中的数据迁移至目标节点。

结合上述第二方面，在第一种可能的实现方式中，所述分区平衡处理为数据恢复处理；所述处理单元具体包括：