[发明专利]分布式文件系统集群增加节点的方法、装置及设备

说明书

本发明公开了一种分布式文件系统集群增加节点的方法、装置及设备。分布式文件系统集群增加节点的方法，包括：扩展集群的副本冗余数；对扩展后的集群执行副本数据同步以及副本数据修复。采用本发明，可以解决无元数据中心架构模式的扩容带来的集群数据分布布局变化和副本冗余控制不灵活的问题，使其分布式文件系统集群能灵活的增加节点，并保证数据量迁移最小、数据的安全冗余。

技术领域

本发明涉及计算机领域，尤其涉及一种分布式文件系统集群增加节点的方法、装置及设备。

背景技术

在生产过程中，业务是无法准确估计存储容量的，而且，考虑到业务成本，通常需要分布式文件系统进行按需组建，并能按需扩展和缩减。分布式文件系统具有很强的横向扩展能力，实现分布式文件系统最大的难点之一就是元数据的记录问题，即逻辑数据与物理存储节点的映射关系和其它posix文件属性的记录。

相关技术中，元数据记录和管理的架构模式主要有主备式元数据中心架构模式、分布式元数据中心架构模式、无元数据中心架构模式。主备式元数据中心架构模式优点在于工程上实现简单复杂性低，缺点在于存在单点风险和性能瓶颈。分布式元数据中心架构模式优点在于消除了单点和性能瓶颈，使其元数据与存储分离提高了整个系统更灵活的扩展，实现了完全的分布式，缺点在于大大的增加了系统的复杂性，带来了更多的数据一致性和性能开销等更有挑战的新问题。无元数据中心架构模式优点使用哈希算法来映射元数据与物理存储节点来提高了整个系统的扩展性和消除了元数据的复杂性，缺点在于哈希映射算法带来了扩容和缩减时数据分布布局的变化，会引起大量数据迁移和副本冗余控制不灵活等问题。

发明内容

本发明实施例提供一种分布式文件系统集群增加节点的方法、装置及设备，用以解决现有技术中无元数据中心架构模式的扩容带来的集群数据分布布局变化和副本冗余控制不灵活的问题。

本发明实施例提出一种分布式文件系统集群增加节点的方法，包括：

扩展集群的副本冗余数；

对扩展后的集群执行副本数据同步以及副本数据修复。

根据本发明的一些实施例，所述扩展集群的副本冗余数，包括：

所述集群的节点总数为1 时，扩展所述集群的副本冗余数为1；

所述集群的节点总数为2时，扩展所述集群的副本冗余数为2；

所述集群的节点总数大于2 时，扩展所述集群的副本冗余数为3。

根据本发明的一些实施例，所述方法还包括：

在扩展集群的副本冗余数之后、且对扩展后的集群执行副本数据同步以及副本数据修复之前，扩展集群的虚拟块。

根据本发明的一些实施例，所述扩展集群的虚拟块，包括：

扩展所述集群中每个节点的虚拟块至少包括3个。

本发明实施例提出一种分布式文件系统集群增加节点的装置，包括：

第一扩展单元，用于扩展集群的副本冗余数；

处理单元，用于对扩展后的集群执行副本数据同步以及副本数据修复。

根据本发明的一些实施例，所述第一扩展单元，用于：

所述集群的节点总数为1 时，扩展所述集群的副本冗余数为1；

所述集群的节点总数为2时，扩展所述集群的副本冗余数为2；

所述集群的节点总数大于2 时，扩展所述集群的副本冗余数为3。

根据本发明的一些实施例，所述装置还包括：