[发明专利]数据重构方法及装置

说明书

本申请提供的数据重构方法及装置，属于分布式存储领域。该数据重构方法包括：接收分布式存储系统的其他存储节点中与失效磁盘所关联的存储节点基于第一集群拓扑信息所返回的待重构数据；其中，第一集群拓扑信息在多个磁盘中存在所述失效磁盘时生成，用于表征热备盘已加入到集群拓扑中，第一集群拓扑信息携带失效磁盘的标识；存储所述待重构数据至所述热备盘中。从而快速实现数据重构，因为只需要进行一次数据重构，所以有效降低了数据重构量，进而有效缩短了数据重构的时间，同时，因为重构时间短和重构数据量小，所以有效提升了分布式存储系统的数据可靠性和系统可用性。

技术领域

本申请涉及分布式存储领域，具体而言，涉及数据重构方法及装置。

背景技术

目前在分布式存储系统中，一旦某个存储节点中的磁盘失效后，为了恢复数据，需要进行数据重构，但是在数据重构的过程中，需要经历2个过程。具体地，首先是磁盘失效时，丢失的数据在其它磁盘上生成；其次在新磁盘插入后，数据再次重构到此新磁盘。然而在这两次过程中，需要重构的数据量都是失效磁盘已经写入的数据量。举例来说，比如磁盘A是一个8TB盘，已经写入了6TB数据，则2次数据重构总共需要写入12TB的数据。并且数据的重构是需要时间的。然而对于分布式存储来说，重构1TB数据大概需要0.5小时到1小时，那么重构12TB的数据大约需要6小时至12个小时。假定在数据重构期间，又发生了其他磁盘的失效事件，对于2副本配置来说，则存在着丢失数据的风险。另外，在数据重构时，会消耗大量的磁盘性能(每个磁盘的最大IOPS(Input/Output Operations Per Second，每秒进行读写操作的次数)和带宽是固定的)，这就会影响用户的业务，严重情况时会导致应用系统响应缓慢或卡顿。

发明内容

有鉴于此，本申请实施例提供的数据重构方法及装置。

第一方面，本申请实施例提供的一种数据重构方法，应用于分布式存储系统的存储节点中，所述存储节点包括位于所述分布式存储系统的集群拓扑中的多个磁盘和未位于所述集群拓扑中的热备盘，所述方法包括：接收所述分布式存储系统的其他存储节点中与失效磁盘所关联的存储节点基于第一集群拓扑信息所返回的待重构数据；其中，所述第一集群拓扑信息在所述多个磁盘中存在所述失效磁盘时生成，用于表征所述热备盘已加入到所述集群拓扑中，所述第一集群拓扑信息携带所述失效磁盘的标识；存储所述待重构数据至所述热备盘中。

在上述实施方式中，通过在存储节点上设置热备盘，并在磁盘失效时，将热备盘加入到集群拓扑中，并生成第一集群拓扑信息，失效磁盘所在的存储节点可以接收分布式存储系统的其他存储节点中与失效磁盘所关联的存储节点基于第一集群拓扑信息所返回的待重构数据，并将待重构数据存储至热备盘中。因为只需要进行一次数据重构，所以有效降低了数据重构量，并且有效缩短了数据重构的时间，同时，因为重构数据量小和时间短，所以有效提升了分布式存储系统的数据可靠性和系统可用性。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，在接收所述待重构数据之前，所述方法还包括：确定所述多个磁盘中有任意一个磁盘失效；将所述热备盘加入到所述集群拓扑中；基于所述失效磁盘和加入到所述集群拓扑中的所述热备盘生成所述第一集群拓扑信息；发送所述第一集群拓扑信息至所述其他存储节点。

在上述实施方式中，存储节点自身通过在确定多个磁盘中有任意一个磁盘失效时；将热备盘加入到集群拓扑中；基于失效磁盘和加入到集群拓扑中的热备盘生成第一集群拓扑信息；并发送第一集群拓扑信息至其他存储节点。换言之，由各个存储节点确定自身的磁盘状态、在自身的磁盘失效时，将热备盘加入到集群拓扑中，并生成第一集群拓扑信息发送给其他存储节点，这样的方式简单，易于实现。

结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，所述确定所述多个磁盘中有任意一个磁盘失效，包括：接收监测节点发送的监测信息，所述监测信息包括用于表征所述多个磁盘中是否存在一个磁盘失效的标识信息；根据所述标识信息确定所述多个磁盘中有任意一个磁盘失效。