[发明专利]一种数据重删方法、装置及电子设备和存储介质

说明书

本申请公开了一种数据重删方法、装置及一种电子设备和计算机可读存储介质，该方法包括：当目标卷接收到目标数据时，将所述目标数据发送至重删模块，以便所述重删模块将所述目标数据切分多个分块数据，并确定每个分块数据是否需要重删；获取所述重删模块发送的所述目标数据的重删结果，并将所述目标数据和所述重删结果发送至所述目标卷所属的目标池，以便所述目标池基于所述重删结果对所述目标数据中的分块数据进行删除操作后果落盘处理。由此可见，本申请提供的数据重删方法，简化了重删模块在IO路径上的参与度，使得重删模块更灵活，减少了数据重删时的性能损耗。

技术领域

本申请涉及计算机技术领域，更具体地说，涉及一种数据重删方法、装置及一种电子设备和一种计算机可读存储介质。

背景技术

数据重删，即重复数据删除(Deduplication)，是一种可自动识别并删除重复数据的技术，属于一种高级的数据压缩方式。在相关技术中，数据重删流程为：主机下发数据，卷将数据按照重删算法所采取的分块方式划分为不同粒度(4k/8k)，数据下发到重删模块。重删模块通过哈希算法计算数据的指纹值。通过计算出的指纹值到指纹库查询，判断指纹库是否存在该指纹值，假如存在，则按照重复数据进行处理，假如不存在，则按照非重复数据进行处理。

针对以上流程，当主机下发io数据时，卷层面将io数据按照固定粒度切分后一次下发给重删，重删模块处理之后将数据结果发送给池，池选择将需要落盘的数据进行落盘，在进行落盘过程中，考虑到资源和性能的影响，池不能按照单个8k粒度逐次进行落盘，而是等待重删模块处理一批数据之后一次性进行落盘操作，如此就会造成8k粒度凑落盘时性能上有因为等待时间而造成的损耗。

因此，如何减少数据重删时的性能损耗是本领域技术人员需要解决的技术问题。

发明内容

本申请的目的在于提供一种数据重删方法、装置及一种电子设备和一种计算机可读存储介质，减少了数据重删时的性能损耗。

为实现上述目的，本申请提供了一种数据重删方法，包括：

当目标卷接收到目标数据时，将所述目标数据发送至重删模块，以便所述重删模块将所述目标数据切分多个分块数据，并确定每个分块数据是否需要重删；

获取所述重删模块发送的所述目标数据的重删结果，并将所述目标数据和所述重删结果发送至所述目标卷所属的目标池，以便所述目标池基于所述重删结果对所述目标数据中的分块数据进行删除操作后果落盘处理。

其中，所述重删模块将所述目标数据切分多个分块数据，并确定每个分块数据是否需要重删，包括：

所述重删模块基于第一预设粒度将所述目标数据切分多个分块数据；其中，所述第一预设粒度为元数据的存储粒度；

计算每个所述分块数据的指纹值，并判断指纹库中是否存在所述指纹值；

若是，则判定所述分块数据需要重删；若否，则判定所述分块数据不需要重删。

其中，将所述目标数据发送至重删模块，包括：

判断所述目标数据的数据长度是否大于第二预设粒度；其中，所述第二预设粒度为所述第一预设粒度的整数倍；

若是，则基于所述第二预设粒度对所述目标数据进行切分，并将切分后的目标数据逐个发送至所述重删模块；

若否，则将所述目标数据直接发送至重删模块。

其中，所述重删模块将所述目标数据切分多个分块数据之前，还包括：

所述重删模块判断所述目标数据的数据长度是否大于所述第二预设粒度；

若是，则所述重删模块向所述目标卷返回错误信息，并返回所述目标数据；