[发明专利]用于数据去重的方法和设备

说明书

本公开的实施例公开了用于数据去重的方法和设备。在客户端执行的数据去重的方法包括：响应于在客户端处接收到待备份的数据，对所述待备份的数据采样以得到采样数据；生成用于所述采样数据的签名；向包括多个存储节点的存储集群中的主存储节点发送所述签名，以允许所述主存储节点从所述多个存储节点中选择一个存储节点；从所述主存储节点接收所选择的存储节点的指示；以及基于所述指示向所述所选择的目标存储节点发送所述待备份的数据。本公开的实施例还提供在主存储节点和从存储节点处执行的数据去重方法，以及相应的设备。

技术领域

本公开的实施例总体上涉及数据处理方法和设备，并且具体地，涉及对存储系统中重复冗余数据的去重方法和设备。

背景技术

在数据存储系统尤其是在备份和归档存储系统中，数据的冗余度通常较高。而在某个周期时段内，所存储数据的变化可能并不大。例如在虚拟机的应用场景中，数据中心存在成千上万的虚拟机应用，存储空间需求庞大，而每天每个虚拟机的变化一般较小，例如每天50MB的数据变化。因此，在这样的存储系统中需要改善存储空间的利用以及优化存储，以减少数据在磁盘上的占用空间。其中一种有效的解决方案是利用重复数据删除(de-duplication)技术。

重复数据删除技术是一种基于冗余数据去除的特殊数据压缩技术，旨在减少存储系统中使用的存储容量。然而，面对数据的高速增长，单一的重复数据删除服务器已经难以满足扩展性的需求。因此，横向扩展(scaleout)存储系统或集群存储系统应运而生。也就是说，在集群存储系统中，存在多个重复数据删除服务器(或称之为集群节点)。然而传统的数据去重方案无法在实现良好去重效果的同时确保整个存储系统的负载均衡和/或最小化对上层应用的影响。

发明内容

总体上，本公开的实施例提供一种优化集群存储系统的数据去重处理的解决方案。

在本公开的第一方面，提供一种用于数据去重的方法。该方法包括：一种数据去重的方法，包括：响应于在客户端处接收到待备份的数据，对待备份的数据采样以得到采样数据；生成用于采样数据的签名；向包括多个存储节点的存储集群中的主存储节点发送签名，以允许主存储节点从多个存储节点中选择一个存储节点；从主存储节点接收所选择的存储节点的指示；以及基于指示向所选择的目标存储节点发送待备份的数据。

在某些实施例中，多个存储节点以固定长度的分段来存储数据，并且对待备份的数据采样包括：基于固定长度对待备份的数据进行分段以得到多个数据段；以及对多个数据段采样以得到多个采样数据段。

在某些实施例中，多个存储节点以可变长度的分段来存储数据，并且对待备份的数据采样包括执行以下一次或多次：随机地选择用于采样的起始位置；从起始位置起，以与可变长度相对应的模式来识别待备份的数据的预定数目的锚点；以及采样紧随锚点的数据段作为采样数据段。在某些实施例中，其中对采样数据生成签名包括对采样数据段进行数字签名以获得指纹，并且其中向主存储节点发送签名包括向主存储节点发送指纹。

在某些实施例中，对待备份的数据采样包括：响应于待备份的数据的大小低于第一预定阈值，对待备份的数据进行分段以得到多个数据段作为采样数据。

在某些实施例中，对采样数据生成签名包括：对多个数据段进行数字签名以获得与多个数据段相对应的多个指纹；以及确定多个指纹中指纹值为预定值的第一指纹。

在某些实施例中，该方法还包括：从主存储节点接收用于进行附加数据采样的附加指示；基于附加指示，对待备份的数据进行附加采样以得到附加采样数据；生成用于附加采样数据的附加签名；以及向主存储节点发送附加签名。