[发明专利]一种数据修复方法及装置

说明书

技术领域

本申请涉及数据存储技术领域，特别是涉及一种数据复本修复方法及相应的装置。

背景技术

为提高数据的可用性和系统的稳定性，现有的数据储存模式通常采用分布式存储技术，即将一份数据作为整体同时备份存储在多个独立的存储器，形成多个数据复本，以便一处存储的数据出现坏损或丢失时可通过其他数据复本实现数据恢复。比如FaceBook的相册存储系统、淘宝的图片存储系统TFS，Google的海量数据存储系统GFS等。这些存储系统采用的数据修复方法是全额复制技术。所谓全额复制技术是指在一处数据出现坏损或丢失后，将复本的全部数据均复制到坏损的存储器，这种方式技术上简单、处理方便，被广泛使用于分布式存储系统。但是，无论一份数据是局部坏损或全部丢失，全额复制技术均复制整份数据用以数据修复，在数据复本含有的数据量比较大的情况下，将导致大量的数据拷贝开销，特别在分布式存储系统环境下，进行大数据量传输不仅消耗磁盘总线带宽，还将占用较多的网络资源，影响到基于网络的前端应用服务。

发明内容

为解决上述技术问题，本申请实施例提供一种数据修复方法及装置，以减少数据修复过程中的数据拷贝开销。

本申请实施例提供的数据修复方法包括：

读取数据异常存储器内数据对象的序列号，所述序列号在数据对象写入多个存储器过程中统一分配；

将数据异常存储器的序列号与数据复本存储器的序列号进行比较，将数据复本存储器多出的序列号对应的数据对象复制到数据异常存储器以实现数据修复。

优选地，在数据对象写入多个存储器过程中统一分配序列号包括：

选择多个存储器中的一个存储器作为主存储器；

在主存储器接收数据对象后生成与该数据对象对应的序列号；

将所述数据对象和对应的序列号写入到多个存储器。

进一步优选地，所述与数据对象对应的序列号按预设步长顺序增加，则：读取数据异常存储器内数据对象的最大序列号，将数据异常存储的最大序列号与数据复本存储器的最大序列号进行比较。

进一步优选地，将所述数据对象和对应的序列号写入多个从存储器之前，所述方法还包括：

将从存储器接收到的序列号与从存储器内数据对象的当前最大序列号进行比较，如果接收的序列号大于从存储器当前最大序列号两个预设步长以上，则：将多出的序列号对应的数据对象设置为无效。

本申请实施例还提供了一种数据修复装置。该装置包括：读取单元、分配单元、比较单元和复制单元，其中：

所述读取单元，用于读取数据异常存储器内数据对象的序列号，所述序列号由分配单元在数据对象写入多个存储器过程中统一分配；

所述比较单元，用于将数据异常存储器的序列号与数据复本存储器的序列号进行比较；

所述复制单元，用于将数据复本存储器多出的序列号对应的数据对象复制到数据异常存储器以实现数据修复。

优选地，所述分配单元包括：选择子单元、生成子单元和写入子单元，其中：

所述选择子单元，用于选择多个存储器中的一个存储器作为主存储器；

所述生成子单元，用于在主存储器接收数据对象后生成与该数据对象对应的序列号；

所述写入子单元，用于将所述数据对象和对应的序列号写入到多个从存储器。

进一步优选地，所述生成子单元生成的序列号按预设步长顺序增加，则：读取单元用于读取数据异常存储器内数据对象的最大序列号，比较单元用于将数据异常存储的最大序列号与数据复本存储器的最大序列号进行比较。

进一步优选地，所述分配单元还包括比较子单元和设置子单元，其中：

所述比较子单元，用于在将所述数据对象和对应的序列号写入多个从存储器之前，将从存储器接收到的序列号与从存储器内数据对象的当前最大序列号进行比较，如果接收的序列号大于从存储器当前最大序列号两个预设步长以上，触发设置子单元；

所述设置子单元，用于将多出的序列号对应的数据对象设置为无效。