[发明专利]一种数据重构方法、系统、设备及计算机可读存储介质

说明书

本申请公开了一种数据重构方法、系统、设备及计算机可读存储介质，应用于分布式存储系统，确定故障OSD上待恢复的数据对象；在正常OSD中，确定数据对象在故障OSD故障前后的增量部分；待故障OSD恢复故障后，基于增量部分对故障OSD进行数据重构。本申请中，在确定故障OSD上待恢复的数据对象之后，并非是以数据对象为单位进行数据重构，而是在正常OSD中，确定数据对象在故障OSD故障前后的增量部分，再待故障OSD恢复故障后，基于增量部分对故障OSD进行数据重构，实现了以数据对象的增量部分对故障OSD进行数据重构，数据重构效率高。本申请提供的一种数据重构系统、设备及计算机可读存储介质也解决了相应技术问题。

技术领域

本申请涉及数据重构技术领域，更具体地说，涉及一种数据重构方法、系统、设备及计算机可读存储介质。

背景技术

随着信息技术的发展，数据成为每个企业乃至国家越来越重要的一部分。特别是移动、医院、银行、保险公司等一些数据敏感的典型行业，对业务的性能和数据完整性要求更高。这就对分布式存储提出了更高的性能要求和安全性要求，但是物理磁盘因使用时间过长、或者其他不可抵抗的因素导致节点宕机，均会触发存储系统异常，进而数据发生重构，也即故障硬盘重载的数据重新被分配到新硬盘中，故障硬盘中的数据在其他硬盘中被恢复出来的过程称为数据重构。重构的时间长短一方面取决于当前已产生的数据量，另一方面取决于存储系统的故障恢复能力，处理不好会直接影响到用户的前端业务卡顿，甚至出现卡死，给用户带来很不友好的使用体验。因此，要求存储系统发生异常后，能够更高效的完成重构，以保障数据安全和业务性能。

然而，现有的数据重构过程中，是按照整对象进行恢复的，即便对象只被修改了一次，也需要对对象进行完整恢复。这就使得恢复过程是先读后写，并且有多次消息交互；且整对象恢复会消耗网络带宽和占用本地存储介质的IO，这样就会和前端读写抢占资源，从而影响前端业务的性能。因此整对象恢复，恢复效率低，且对性能影响大。

综上所述，如何提高数据重构的效率是目前本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种数据重构方法，其能在一定程度上解决如何提高数据重构的效率的技术问题。本申请还提供了一种数据重构系统、设备及计算机可读存储介质。

为了实现上述目的，本申请提供如下技术方案：

一种数据重构方法，应用于分布式存储系统，包括：

确定故障OSD上待恢复的数据对象；

在正常OSD中，确定所述数据对象在所述故障OSD故障前后的增量部分；

待所述故障OSD恢复故障后，基于所述增量部分对所述故障OSD进行数据重构。

优选的，所述在正常OSD中，确定所述数据对象在所述故障OSD故障前后的增量部分，包括：

按照纠删条带值和纠删单元对所述数据对象进行修正，得到处理对象；

计算各个所述正常OSD对所述处理对象的读取范围；

发送对所述处理对象的读取请求及所述读取范围至各个所述正常OSD；

接收各个所述正常OSD按照所述读取范围响应所述读取请求后返回的编码后的所述增量部分。

优选的，所述基于所述增量部分对所述故障OSD进行数据重构，包括：

对编码后的所述增量部分进行解码，得到所述增量部分；

发送所述增量部分至所述故障OSD，以使所述故障OSD将所需的所述增量部分写入本地硬盘。

优选的，所述发送所述增量部分至所述故障OSD之后，还包括：

接收所述故障OSD发送的表征数据已写入所述本地硬盘的应答信息；