[发明专利]一种数据校验方法及装置

说明书

本申请提供一种数据校验方法及装置，涉及存储技术领域，能够对存储在硬盘上且无需重新写入的条带进行校验。包括：客户端模块接收CA发送的N个数据条带、CA计算的每个数据条带的CRC值以及第一版本号；计算每个数据条带的CRC值，比较客户端模块计算的CRC值与CA计算的CRC值；当客户端模块计算的每个数据条带的CRC值均与CA计算的CRC值相同时，根据N个数据条带计算M个校验条带，并计算每个校验条带的CRC值；计算分条的CRC值；将N+M个条带的CRC值分别填入N+M个第一版本号，并将分条的CRC值填入每个第一版本号，得到N+M个第二版本号；将每个第二版本号和每个需要写入硬盘的条带发送给对应的存储节点。

技术领域

本申请涉及存储技术领域，尤其涉及一种数据校验方法及装置。

背景技术

在存储技术领域中，为了提高数据的安全性，一般会采用纠删码(ErasureCoding，EC)冗余方式对数据进行存储。即将从协议服务器接收到的数据进行划分，得到N个数据条带，并通过EC冗余计算得到N个数据条带的M个校验条带，然后将该N个数据条带和M个校验条带分别存储在不同的存储节点中。其中，M个校验条带用于在该N个数据条带中的部分(不超过M个)数据条带损坏或丢失时，利用剩余的数据分别重构出该被损坏或者丢失的数据条带。

由于在将数据写入硬盘的过程中，需要跨越多个模块。例如，存储节点的客户端代理(ClientAgent，CA)在得到待存储数据的N个数据条带之后，经过对象服务(ObjectService，OBS)客户端、OBS服务器以及不只是文件系统(NotOnlyFileSystem，NOFS)等模块的传输之后，写入对应的硬盘上。那么，为了避免存储了错误的条带，需要校验条带在模块与模块之间的一致性。传统的校验方式为为每个条带计算一个循环冗余码校验(Cyclic RedundancyCheck，CRC)值。当一个模块接收到一个条带和该条带的CRC值后，该模块采用相同的算法也计算一个CRC值，并比较计算的CRC值和接收到的CRC值是否相同，来对该条带进行一致性校验。若相同，则说明该模块接收到的条带是正确的，那么该模块可继续执行写入操作。否则，拒绝继续传输该条带，并报错。

然而，传统的校验方式仅针对有条带需要传输的情况，仅能对传输过程中的条带进行校验。针对已经存储在硬盘上条带则无法适用。例如，对于已经存储在硬盘中的数据，当该数据的部分条带被修改后，则需要对修改后的条带进行重新写入，而无需重新写入未被修改的条带。那么，按照传统的校验方式，仅能对被修改的数据条带进行一致性校验，确保正确存储该被修改的数据条带。而对于这些未被修改的已经存储在硬盘上数据条带，则无法进行校验。

发明内容

本申请提供一种数据校验方法及装置，能够对已经存储在硬盘上条带进行校验。

第一方面，本申请提供一种数据校验方法，该方法包括：第一存储节点的客户端模块接收该第一存储节点的客户端代理CA发送的N个数据条带、该CA计算的每个数据条带的循环冗余码校验CRC值，以及该CA生成的该N个数据条带的第一版本号，N为大于或者等于2的自然数；该客户端模块计算每个数据条带的CRC值，并比较该客户端模块计算的CRC值与该CA计算的CRC值；当该客户端模块计算的每个数据条带的CRC值均与该CA计算的CRC值相同时，该客户端模块根据该N个数据条带计算M个校验条带，并计算每个校验条带的CRC值，M为大于或者等于2的自然数；该客户端模块计算分条的CRC值，该分条包括该N个数据条带和该M个校验条带，该分条的CRC值用于对该分条进行校验；该客户端模块根据预设规则将该分条中的N+M个条带的CRC值分别填入N+M个该第一版本号中，并将该分条的CRC值填入该N+M个该第一版本号中的每个该第一版本号中，得到N+M个条带的第二版本号；该客户端模块将该N+M个条带的第二版本号中每个第二版本号和该N+M个条带中需要写入硬盘的每个条带发送给分布式存储系统中对应的存储节点。