[发明专利]一种分布式全局数据去重方法和装置

说明书

本发明实施例提供了一种分布式全局数据去重方法和装置。本发明涉及大数据技术领域，该方法包括：接收目标数据写入请求，并确定目标数据对应的目标对象编号；根据目标对象编号确定对应的目标存储节点，向目标存储节点的缓存层写入目标数据；判断目标数据是否需要计算数据指纹；如果目标数据需要计算数据指纹，则计算目标数据的数据指纹，得到目标数据指纹；返回用于提示写入成功的提示信息，提示信息携带目标数据指纹；存储目标数据指纹。因此，本发明实施例提供的技术方案能够解决现有技术中分布式存储系统中存在大量冗余重复信息导致存储空间消耗大、存储效率低的问题。

【技术领域】

本发明涉及大数据技术领域，尤其涉及一种分布式全局数据去重方法和装置。

【背景技术】

分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

目前数据量爆炸性增长，对现有的分布式存储系统的容量、能耗管理等方面都带来了新的挑战。分布式存储系统中存在大量的冗余重复信息，而冗余重复信息增加了存储空间的消耗，降低了存储效率。

【发明内容】

有鉴于此，本发明实施例提供了一种分布式全局数据去重方法和装置，用以解决现有技术中分布式存储系统中存在大量冗余重复信息导致存储空间消耗大、存储效率低的问题。

一方面，本发明实施例提供了一种分布式全局数据去重方法，所述方法应用于存储系统，所述方法包括：存储网关接收客户端的目标数据写入请求，按照第一预设规则确定所述目标数据对应的目标对象编号，并将所述目标数据与所述目标对象编号的对应关系存储在元数据列表；根据第二预设规则确定所述目标对象编号对应的目标存储节点，所述存储网关将所述目标数据写入所述目标存储节点的缓存层，所述第二预设规则为对象编号与存储节点之间的对应规则；判断所述目标数据是否需要计算数据指纹；如果所述目标数据需要计算数据指纹，则根据预设算法计算所述目标数据的数据指纹，得到目标数据指纹，所述目标数据指纹与所述目标数据之间存在一一对应关系；判断所述目标存储节点的存储层是否已存储所述目标数据指纹；如果所述目标存储节点的存储层没有存储所述目标数据指纹，则将所述目标数据指纹存储在所述目标存储节点的存储层，向所述存储网关返回用于提示写入成功的提示信息，所述提示信息携带所述目标数据指纹；如果所述目标存储节点的存储层已存储所述目标数据指纹，则向所述存储网关返回用于提示写入成功的提示信息，所述提示信息携带所述目标数据指纹，然后删除所述目标存储节点的缓存层中存储的所述目标数据，更新所述目标存储节点的存储层存储的所述目标数据指纹的引用计数；所述存储网关接收所述提示信息，并判断所述提示信息是否携带所述目标数据指纹；如果所述提示信息携带所述目标数据指纹，则将所述元数据列表中所述目标数据与所述目标对象编号的对应关系更新为所述目标数据、所述目标对象编号与所述目标数据指纹三者之间的对应关系，将所述第二预设规则中所述目标对象编号与所述目标存储节点的对应规则更新为所述目标对象编号、所述目标数据指纹与所述目标存储节点三者之间的对应规则。

进一步地，在所述将所述第二预设规则中所述目标对象编号与所述目标存储节点的对应规则更新为所述目标对象编号、所述目标数据指纹与所述目标存储节点三者之间的对应规则之后，所述方法还包括：接收所述客户端读取所述目标数据的请求；判断所述元数据列表中是否存在所述目标数据指纹；如果所述元数据列表中不存在所述目标数据指纹，则根据所述元数据列表中所述目标对象编号与所述第二预设规则确定所述目标存储节点；根据所述目标对象编号获取所述目标存储节点的缓存层中存储的所述目标数据；向所述客户端返回所述目标数据。