[发明专利]一种数据校验方法、装置、计算设备及介质

说明书

本发明公开了一种数据校验方法、装置、计算设备及介质，该方法包括：当向数据组织单元写入数据时，计算各写入的数据块和数据组织单元的校验码；根据数据组织单元中各数据块的校验码，对各数据块进行校验；将数据组织单元中有效数据的长度及其校验码发送至元数据服务器，以指示元数据服务器对数据组织单元进行校验，并根据校验结果返回对应消息；若数据组织单元中的各数据块均校验成功，且接收到元数据服务器返回的校验成功消息，则确定数据校验成功。

技术领域

本发明涉及分布式技术领域，特别涉及一种数据校验方法、装置、计算设备及介质。

背景技术

分布式文件系统作为云操作系统的核心组件，负责系统中数据的持久化，因此要求分布式文件系统可保证数据的可靠性、可用性及安全性。为了支持各种业务，分布式文件系统通常采用多副本的方式来提高数据的可靠性，从多个维度提供了数据校验服务，以检测单副本是否存在数据静默错误。

目前，分布式文件系统一般采用E2E(End to End，端对端)数据校验、单机校验和分布式校验这三类方式。其中，E2E数据校验由用户提供写入数据和对应的校验码，通过对数据和校验码进行匹配验证来确定是否同意写入，对同意写入的数据，在读数据时再次进行数据和校验码的匹配验证，确保了每次读写操作时数据的可靠性，但对校验码的依赖性较大，一旦用户这一端出现校验码错误，将造成严重的数据问题。

而单机校验是通过服务器后台实现的校验操作，不需要且条件上也不允许高频操作，因此完成一次全盘扫描需要周余的时间，不具备实时性。分布式校验是在分布式文件系统中，通过部署一个单独的后台校验服务，读取多副本中的每一个副本进行交叉校验，进而完成整个文件系统的一致性检查，开销较高，且增加了网络的额外消耗，完成一个集群级别的扫描可能需要数周到数月的时间。因此，需要一种新的数据校验方法来优化上述处理过程。

发明内容

为此，本发明提供一种数据校验方案，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种数据校验方法，该方法包括如下步骤：首先，当向数据组织单元写入数据时，计算各写入的数据块和数据组织单元的校验码；根据数据组织单元中各数据块的校验码，对各数据块进行校验；将数据组织单元中有效数据的长度及其校验码发送至元数据服务器，以指示元数据服务器对数据组织单元进行校验，并根据校验结果返回对应消息；若数据组织单元中的各数据块均校验成功，且接收到元数据服务器返回的校验成功消息，则确定数据校验成功。

可选地，在根据本发明的数据校验方法中，计算各写入的数据块和数据组织单元的校验码包括：对各写入的数据块，以该数据块前一个数据块的校验码为其初始校验码，根据初始校验码计算该数据块的校验码，并以最后一个数据块的校验码作为数据组织单元的校验码。

可选地，在根据本发明的数据校验方法中，根据初始校验码计算数据块的校验码包括：根据初始校验码，通过循环冗余校验算法计算数据块的校验码；或者根据初始校验码，通过MD5消息摘要算法计算数据块的校验码；或者根据初始校验码，通过安全散列算法计算数据块的校验码。

可选地，在根据本发明的数据校验方法中，还包括：响应于客户端发送的写请求，确定待写入数据的数据组织单元，写请求中包含待写入的数据；向该数据组织单元写入待写入的数据。

可选地，在根据本发明的数据校验方法中，确定待写入数据的数据组织单元包括：若数据服务器中存在存储量未满的数据组织单元，则根据写请求从中选择出相应的数据组织单元，作为待写入数据的数据组织单元；若数据服务器中不存在存储量未满的数据组织单元，则创建新的数据组织单元，作为待写入数据的数据组织单元。

可选地，在根据本发明的数据校验方法中，还包括：生成新的数据组织单元的校验码，将该校验码作为写入新的数据组织单元的第一个数据块的初始校验码。