[发明专利]数据存储方法及设备

说明书

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据存储方法及设备。

背景技术

随着企业的数据量不断增大，大量的重复数据给存储带来严峻的挑战。而重复数据删除(Date de-duplication，简称De-Dupe)作为通过有效地减少数据，降低数据存储成本的重要技术，越来越受到重视。

在进行数据存储的任务中，通常将待存储文件划分成数据块，重复数据删除技术可自动搜索重复数据块，将相同数据块只保留唯一的一个副本，并使用指向唯一副本的指针替换掉其他重复副本，同时该副本的引用计数增加1，以达到消除冗余数据、降低存储容量需求的存储技术。当重复数据删除后保留的唯一副本数据块被修改或删除时，将导致其引用计数发生改变，当该副本的引用计数减为0时，该副本就满足了垃圾收集的条件，将该副本作为垃圾进行回收，从而释放更多的存储空间。

然而现有技术中，当重复数据删除与回收并发执行时，会使提供给重复副本的指针指向刚刚回收的数据，导致数据丢失。

发明内容

本发明实施例提供一种数据处理方法及设备，以优化重复数据删除和回收的并发执行流程。

第一方面，本发明实施例提供一种数据存储方法，包括：

将待存储文件各数据块的指纹与指纹库中的指纹进行匹配，以获取对应的备份数据块；

根据所述备份数据块对所述待存储文件进行重复数据删除操作，且为所述备份数据块进行状态标识；

根据所述备份数据块的状态标识对所述备份数据块进行回收处理。

在第一种可能的实现方式中，根据第一方面，具体实现为：将待存储文件各数据块的指纹与指纹库中的指纹进行匹配，以获取对应的备份数据块包括：

对所述待存储文件进行分块处理，得到各数据块，并计算各数据块的指纹；

对各所述数据块的指纹进行抽样处理，并根据抽取到的指纹生成所述待存储文件的指纹抽样表；

根据所述指纹抽样表和分组抽样库，确定所述待存储文件在所述分组抽样库中所属的相似分组，将所述相似分组对应的已存储的数据块作为所述备份数据块，所述分组抽样库由所述指纹库进行抽样处理得到，所述相似分组为所述分组抽样库中与所述待存储文件的指纹抽样表中的抽样指纹相匹配的一个抽样分组。

在第二种可能的实现方式中，根据第一方面，具体实现为：根据所述备份数据块对所述待存储文件进行重复数据删除操作，且为所述备份数据块进行状态标识包括：

在根据所述备份数据块对所述待存储文件进行重复数据删除操作之前，将所述备份数据块的分组计数加一；

在完成根据所述备份数据块对所述待存储文件进行重复数据删除操作之后，将所述备份数据块的分组计数减一。

在第三种可能的实现方式中，根据第一方面第二种可能的实现方式，具体实现为：根据所述备份数据块的状态标识对所述备份数据块进行回收处理包括：

当识别到所述备份数据块的状态标识中的分组计数不为零时，暂停对所述备份数据块的回收处理；

当识别到所述备份数据块的状态标识中的分组计数为零时，触发对所述备份数据块的回收处理。

在第四种可能的实现方式中，根据第一方面或第一方面第一种可能的实现方式或第一方面第二种可能的实现方式，具体实现为：根据所述备份数据块的状态标识对所述备份数据块进行回收处理包括：

当监测到所述备份数据块的引用计数的数值发生变化时，识别对应的备份数据块的状态标识；

当识别到对应的备份数据块的状态标识表明所述备份数据块未使用时，则识别所述备份数据块的引用计数的数值；

当识别到所述备份数据块的引用计数的数值为零时，触发对所述备份数据块进行回收处理。

第二方面，本发明实施例提供一种数据存储设备，包括：

备份数据块获取模块，用于将待存储文件各数据块的指纹与指纹库中的指纹进行匹配，以获取对应的备份数据块；

重复数据删除模块，用于根据所述备份数据块对所述待存储文件进行重复数据删除操作，且为所述备份数据块进行状态标识；

回收模块，用于根据所述备份数据块的状态标识对所述备份数据块进行回收处理。

在第一种可能的实现方式中，根据第二方面，具体实现为：所述备份数据块获取模块包括：

指纹计算单元，用于对所述待存储文件进行分块处理，得到各数据块，并计算各数据块的指纹；

指纹抽样单元，用于对各所述数据块的指纹进行抽样处理，并根据抽取到的指纹生成所述待存储文件的指纹抽样表；