[发明专利]一种数据处理方法、装置及分布式存储系统

说明书

本发明实施例提供了一种数据处理方法、装置及分布式存储系统，所述方法应用于分布式存储系统中的管理节点，包括：在满足预设生成条件的情况下，获取存储节点的负载信息；基于负载信息及预设的虚拟组的数量，为每个存储节点生成对应的虚拟节点，得到多个虚拟组；从每个虚拟组中选择两个虚拟节点，分别作为该虚拟组的主节点和备节点；基于各存储对象的标识及虚拟组信息，将各存储对象存储至所述主节点对应的存储节点中，并将各存储对象的备份存储至对应的备节点对应的存储节点中。管理节点根据存储节点的负载信息选择虚拟组的主节点和备节点，使得主节点和备节点地选择更加合理，实现分布式存储系统中各个存储节点的负载均衡。

技术领域

本发明涉及分布式数据存储技术领域，特别是涉及一种数据处理方法、装置及分布式存储系统。

背景技术

分布式存储系统是一种面向海量数据规模的分布式存储服务，具有稳定、可靠、安全、低成本等特点，因此被广泛应用于图像、文档、视频等存储对象的存储领域。分布式存储系统一般包括多个存储节点，用于分布式存储各个存储对象。

在确定各个存储对象对应的存储节点时，一般通过哈希取模算法或一致性哈希算法等为存储对象确定对应的主存储节点。而为了避免在某个或某些存储节点出现故障时导致数据丢失，需要为每个主存储节点选择一个备主存储节点来存储主存储节点所存储的存储对象的备份。

采用这些方式只能为存储对象选择一个主存储节点，而备存储节点的选择就成为了一大难题，一般采用随机选择的方式确定备存储节点。同时由于每个存储对象的大小不一致，每个存储节点的存储能力也不同，采用上述方式选择的主、备存储节点都具有相当大的随机性，会导致存储节点的负载不均衡现象发生，从而可能导致分布式存储系统崩溃。

发明内容

本发明实施例的目的在于提供一种数据处理方法、装置及分布式存储系统，以合理地选择主节点和备节点，实现分布式存储系统中各个存储节点的负载均衡。具体技术方案如下：

第一方面，本发明实施例提供了一种数据处理方法，应用于分布式存储系统中的管理节点，所述分布式存储系统还包括多个存储节点，所述方法包括：

在满足预设生成条件的情况下，获取所述存储节点的负载信息；

基于所述负载信息及预设的虚拟组的数量，为每个存储节点生成对应的虚拟节点，得到多个虚拟组，其中，每个虚拟组包括多个虚拟节点；

从所述每个虚拟组中选择两个虚拟节点，分别作为该虚拟组的主节点和备节点；

基于各存储对象的标识及虚拟组信息，将所述各存储对象存储至所述主节点对应的存储节点中，并将所述各存储对象的备份存储至对应的备节点对应的存储节点中，其中，所述虚拟组信息包括所述每个虚拟组与该虚拟组的主节点和备节点的对应关系。

可选的，所述预设生成条件包括以下至少一种：

所述分布式存储系统中的一个或多个存储节点下线；

所述分布式存储系统中的一个或多个存储节点上线；

所述分布式存储系统中的存储节点的负载信息满足预设不均衡条件；

接收到虚拟组更新指令。

可选的，所述负载信息包括所述每个存储节点的可用存储容量；

所述基于所述负载信息及预设的虚拟组的数量，为所述每个存储节点生成对应的虚拟节点，得到多个虚拟组的步骤，包括：

根据每个存储节点的可用存储容量与所有存储节点的总存储容量之间的比例，确定每个存储节点对应的虚拟节点的数量权重；

基于所述每个存储节点对应的虚拟节点的数量权重及预设的虚拟组的数量，为所述每个存储节点生成对应的虚拟节点，得到多个虚拟组。