[发明专利]一种分布式全局数据去重方法和装置

摘要

本发明实施例提供了一种分布式全局数据去重方法和装置。本发明涉及大数据技术领域，该方法包括：接收目标数据写入请求，并确定目标数据对应的目标对象编号；根据目标对象编号确定对应的目标存储节点，向目标存储节点的缓存层写入目标数据；判断目标数据是否需要计算数据指纹；如果目标数据需要计算数据指纹，则计算目标数据的数据指纹，得到目标数据指纹；返回用于提示写入成功的提示信息，提示信息携带目标数据指纹；存储目标数据指纹。因此，本发明实施例提供的技术方案能够解决现有技术中分布式存储系统中存在大量冗余重复信息导致存储空间消耗大、存储效率低的问题。

主权项

1.一种分布式全局数据去重方法，其特征在于，所述方法应用于存储系统，所述方法包括：存储网关接收客户端的目标数据写入请求，按照第一预设规则确定所述目标数据对应的目标对象编号，并将所述目标数据与所述目标对象编号的对应关系存储在元数据列表；根据第二预设规则确定所述目标对象编号对应的目标存储节点，所述存储网关将所述目标数据写入所述目标存储节点的缓存层，所述第二预设规则为对象编号与存储节点之间的对应规则；判断所述目标数据是否需要计算数据指纹；如果所述目标数据需要计算数据指纹，则根据预设算法计算所述目标数据的数据指纹，得到目标数据指纹，所述目标数据指纹与所述目标数据之间存在一一对应关系；判断所述目标存储节点的存储层是否已存储所述目标数据指纹；如果所述目标存储节点的存储层没有存储所述目标数据指纹，则将所述目标数据指纹存储在所述目标存储节点的存储层，向所述存储网关返回用于提示写入成功的提示信息，所述提示信息携带所述目标数据指纹；如果所述目标存储节点的存储层已存储所述目标数据指纹，则向所述存储网关返回用于提示写入成功的提示信息，所述提示信息携带所述目标数据指纹，然后删除所述目标存储节点的缓存层中存储的所述目标数据，更新所述目标存储节点的存储层存储的所述目标数据指纹的引用计数；所述存储网关接收所述提示信息，并判断所述提示信息是否携带所述目标数据指纹；如果所述提示信息携带所述目标数据指纹，则将所述元数据列表中所述目标数据与所述目标对象编号的对应关系更新为所述目标数据、所述目标对象编号与所述目标数据指纹三者之间的对应关系，将所述第二预设规则中所述目标对象编号与所述目标存储节点的对应规则更新为所述目标对象编号、所述目标数据指纹与所述目标存储节点三者之间的对应规则。