[发明专利]一种数据重删方法、系统、设备及计算机可读存储介质

说明书

本申请公开了一种数据重删方法、系统、设备及计算机可读存储介质，在目标存储设备中读取预设大小的目标数据；通过SSE指令集对目标数据进行运算，得到与预设大小相对应的运算数据；对运算数据进行哈希运算，得到相应的哈希值；获取目标数据在目标存储设备中的指纹值；判断哈希值与指纹值是否一致，若是，则不再将目标数据写入目标存储设备中。本申请提供的数据重删方法，实现了借助SSE指令集提高对目标数据进行运算的效率，进而提高了对哈希值的运算效率，并且只需通过判断哈希值与指纹值是否一致便可以判断目标数据是否为重复数据，可以降低对CPU的资源消耗。本申请提供的数据重删系统、设备及计算机可读存储介质也解决了相应技术问题。

技术领域

本申请涉及存储技术领域，更具体地说，涉及一种数据重删方法、系统、设备及计算机可读存储介质。

背景技术

当前，在存储领域中，海量数据的查询和存储均需要占用超大的资源，严重影响了数据存储的性能。为了降低存储数据所需占用的资源，提高数据存储性能，现有的一种方法是对数据进行重删处理，重删处理也即对重复数据进行删除，使得存储设备中只保留有一份相同数据，在不影响数据一致性的前提下，减少盘上的数据存放量。

然而，判断数据是否为重复数据的核心思想是计算数据的指纹值，而指纹值的计算需要占用大量的CPU(central processing unit，中央处理器)资源，从而影响设备的性能。

综上所述，如何降低数据重删方法占用的CPU资源量是目前本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种数据重删方法，其能在一定程度上解决如何降低数据重删方法占用的CPU资源量的技术问题。本申请还提供了一种数据重删系统、设备及计算机可读存储介质。

为了实现上述目的，本申请提供如下技术方案：

一种数据重删方法，包括：

在目标存储设备中读取预设大小的目标数据；

通过SSE指令集对所述目标数据进行运算，得到与所述预设大小相对应的运算数据；

对所述运算数据进行哈希运算，得到相应的哈希值；

获取所述目标数据在所述目标存储设备中的指纹值；

判断所述哈希值与所述指纹值是否一致，若是，则不再将所述目标数据写入所述目标存储设备中。

优选的，所述通过SSE指令集对所述目标数据进行运算，得到与所述预设大小相对应的运算数据，包括：

通过所述SSE指令集构建与所述预设大小相对应的初始数值；

对所述初始数值和所述目标数据进行并行运算，得到所述运算数据。

优选的，所述通过所述SSE指令集构建与所述预设大小相对应的初始数值，包括：

通过所述SSE指令集分别构建数据长度与所述预设大小相等的第一掩码值及第二掩码值；

构建数据长度与所述预设大小相等的循环值；

将所述第一掩码值、所述第二掩码值及所述循环值作为所述初始数值；

所述对所述初始数值和所述目标数据进行并行运算，得到所述运算数据，包括：

基于所述第一掩码值、所述第二掩码值、所述循环值及所述目标数据更新所述循环值；

判断所述循环值的数据长度是否与所述预设大小相对应，若是，则将所述循环值作为所述运算数据，若否，则返回执行所述在目标存储设备中读取预设大小的目标数据的步骤。

优选的，所述基于所述第一掩码值、所述第二掩码值、所述循环值及所述目标数据更新所述循环值，包括：