[发明专利]检测数据一致性的方法、装置、电子设备及存储介质

说明书

本发明实施例提供了检测数据一致性的方法、装置、电子设备及存储介质，应用于对象存储技术领域，该检测数据一致性的方法包括：获取待检测数据的所有副本，其中，副本包括数据主体及第一校验码，第一校验码为将副本写入分布式对象存储系统中时，所存储的验证码；分别根据每个副本的数据主体，通过预设算法，计算各副本的第二校验码；判断所有第一校验码及所有第二校验码是否均相同；在所有第一校验码及所有第二校验码均相同时，判定待检测数据的所有副本具备一致性。通过该检测数据一致性的方法，能够检测已写入分布式对象存储系统中数据的一致性。

技术领域

本发明涉及对象存储技术领域，特别是涉及检测数据一致性的方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的发展，网络中的数据量呈现井喷式的增长，传统文件存储系统由于无用元数据过多占用空间，文件读取涉及磁盘IO(Input/Output，输入/输出端口)瓶颈等原因，已经无法满足巨量数据的存储。对象存储能够在一个高度可用的系统中存储任意的对象，用户和应用可以在对象存储系统中使用简单的API(Application ProgrammingInterface，应用程序编程接口)访问数据，对象存储系统有着接近无限的扩展能力，适用于大量数据存储。常用的对象存储系统有Google File System，Haystack，Taobao FileSystem等。

分布式对象存储通过在多个磁盘上存储多个副本来保证数据的安全，多个副本间的一致性模型是存储系统和数据使用者间约定的，包括：强一致性，弱一致性和最终一致性。强一致性指存储系统中的某个数据被成功更新(事务成功返回)后，后续任何对该数据的读取操作都能得到更新后的值。这也是传统的关系数据库所提供的一致性模型。所谓弱一致性是指存储系统中的某个数据被更新后，后续对该数据的读取操作得到的不一定是更新后的值，在这种情况下有个“不一致性时间窗口”存在，在过了这个“不一致性时间窗口”之后，后续的读取才能得到更新后的值。而最终一致性是弱一致性的一种情况，指的是某个数据更新后没有被再次更新，那么最终所有的读取操作都会返回更新后的数据。

在现有的应用于分布式对象存储系统的检测数据一致性的方法中，在将待存储数据的副本写入到各存储介质(如磁盘等)时，分别检查各副本的校验码与用户发送的存储请求中的校验码是否相同，若均相同则认为各副本中的数据符合一致性。但是在副本写入到各存储介质中后，由于物理碰撞、硬件过期及掉电等原因，会导致副本中数据的损毁，因此对于已写入分布式对象存储系统中的数据仍然需要检测数据的一致性，但现有的检测数据一致性的方法不能够检测已写入分布式对象存储系统中数据的一致性。

发明内容

本发明实施例的目的在于提供一种检测数据一致性的方法、装置、电子设备及存储介质，以实现检测已写入分布式对象存储系统中数据的一致性。具体技术方案如下：

第一方面，本发明实施例提供了一种检测数据一致性的方法，应用于分布式对象存储系统，包括：

获取待检测数据的所有副本，其中，所述副本包括数据主体及第一校验码，第一校验码为将所述副本写入所述分布式对象存储系统中时，所存储的验证码；

分别根据每个副本的数据主体，通过预设算法，计算各副本的第二校验码；

判断所有第一校验码及所有第二校验码是否均相同；

在所有第一校验码及所有第二校验码均相同时，判定所述待检测数据的所有副本具备一致性。

可选的，在所述获取待检测数据的所有副本之后，所述方法还包括：

当存在缺失的副本时，对所述缺失的副本进行恢复。

可选的，在所述当存在缺失的副本时，对所述缺失的副本进行恢复之后，所述方法还包括：

发送标识所述缺失的副本的告警信息。