[发明专利]一种分布式存储系统数据一致性的检查方法以及装置

说明书

本发明公开了一种分布式存储系统数据一致性的检查方法、装置、设备及计算机可读存储介质，包括：接收客户端发送检查请求，在数据读写的过程中，判断目标对象在分布式存储系统不同节点下的多个冗余对象的状态信息是否相同；若所述多个冗余对象中存在不一致的状态信息，则判断所述多个冗余对象中状态信息一致的对象数量是否大于等于预设数量阈值；若大于等于所述预设数量阈值，则判定所述多个冗余对象的数据一致，并利用预先建立的协商机制将所述多个冗余对象中不一致的数据进行处理，以使所述多个冗余对象的数据完全一致。本发明所提供的方法、装置、设备及计算机可读存储介质，提高了数据一致性检查的效率，降低了对集群性能的影响。

技术领域

本发明涉及分布式存储技术领域，特别是涉及一种分布式存储系统数据一致性的检查方法、装置、设备以及计算机可读存储介质。

背景技术

在计算机技术高速发展的今天，数据呈现爆炸式增长；不仅对分布式存储系统的IO性能要求越来越高，同时数据存储的安全性和正确性越来越倍受关注。数据的安全性通过数据冗余规则可以保证。但是数据的正确性考虑到分布式存储系统是由多个节点组成，各个节点的硬件如：内存、CPU、网卡、磁盘等都存在损坏的可能；可能会导致多个冗余数据不一致，最终影响数据的正确性。

现有技术中，分布式存储系统的数据一致性检查方法有两种方法：端到端的数据校验和后台扫描检查。端到端的数据校验为应用层在写入数据时，在经过每个数据模块时，都计算并增加一个校验和信息，并将这些校验和信息和数据块一起发送至磁盘。磁盘在接收到数据包之后，会重新校验信息，并和接收到的校验信息作对比。如果不一致，就认为在IO路径上发生了错误。由于端到端的数据校验对分布式存储系统的IO性能影响比较大，目前多采用后台扫描检查的方法。

后台扫描分为对象元数据扫描和对象数据扫描，元数据扫描比较对象各副本的元数据来检查数据的一致性，读取数据量和计算量都比较小，速度比较快，是一种轻度的数据检查。数据扫描不仅要检查对象各副本的元数据，还检查对象的数据内容是否一致；几乎要扫描磁盘上所有的数据并计算其CRC32校验值，不仅耗时，而且还会影响到集群的IO性能。后台扫描期间会阻塞扫描到的对象的操作。

综上所述可以看出，如何提高分布式存储系统数据一致性的检查效率，并减少对集群性能的影响是目前有待解决的问题。

发明内容

本发明的目的是提供一种分布式存储系统数据一致性的检查方法、装置、设备以及计算机可读存储介质，以解决现有技术中数据一致性检查的效率低、耗时长且对集群性能会造成影响的问题。

为解决上述技术问题，本发明提供一种分布式存储系统数据一致性的检查方法，包括：接收客户端发送检查请求，在数据读写的过程中，判断目标对象在分布式存储系统不同节点下的多个冗余对象的状态信息是否相同；若所述多个冗余对象的状态信息中存在不一致的状态信息时，判断所述多个冗余对象中状态信息一致的对象数量是否大于等于预设数量阈值；若所述多个冗余对象中状态信息一致的对象数量大于等于所述预设数量阈值，则判定所述多个冗余对象的数据一致，并利用预先建立的协商机制将所述多个冗余对象中不一致的数据进行处理，以使所述多个冗余对象的数据完全一致。

优选地，所述判断目标对象在分布式存储系统不同节点下的多个冗余对象的状态信息是否相同包括：

判断所述目标对象在分布式存储系统不同节点下的多个纠删码的状态信息是否相同。

优选地，所述判断所述目标对象在分布式存储系统不同节点下的多个冗余对象的状态信息是否相同包括：

判断所述目标对象在分布式存储系统不同节点下的多个副本的版本号是否相同。

优选地，所述若所述多个冗余对象中状态信息一致的对象数量大于等于所述预设数量阈值，则判定所述多个冗余对象的数据一致，并利用预先建立的协商机制将所述多个冗余对象中不一致的数据进行处理，以使所述多个冗余对象的数据完全一致包括：