[发明专利]一种数据处理方法和设备

说明书

本申请公开了一种数据处理方法和设备，涉及计算机技术领域，有助于节省带宽资源。该方法包括：第一设备计算待传输数据的相似指纹，待传输数据的相似指纹包含第一数据块的相似指纹；第一设备向第二设备发送待传输数据的相似指纹，待传输数据的相似指纹用于查找第二设备中是否存储了与待传输数据相似的参考数据块；第一设备接收第二设备发送的参考数据块的指纹；参考数据块的指纹包含第一参考数据块的指纹；第一参考数据块的相似指纹与第一数据块的相似指纹相同；第一设备根据第一参考数据块的指纹查找到第一设备中的第一参考数据块；第一设备基于参考数据块的指纹向第二设备发送数据；该数据包含第一参考数据块和第一数据块之间的差异数据。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法和设备。

背景技术

随着云计算产业的不断推进，主流厂商的云基础设施，如云计算中心、云灾备中心、边缘云等，开始广泛的部署。这些基础设施形成复杂的广域网(wide area network，WAN)网络拓扑，并且这些基础设施相互之间进行数据传输时需要开销大量WAN带宽资源。在有限的带宽条件下，通常使用WAN加速技术来节省带宽。

WAN加速技术是在WAN链路两端分别安装一个专用设备即WAN加速器(accelerator，ACC)。WAN加速器通过缓存已传输的部分或全部数据，并使用重复数据删除技术，来减少WAN链路上传输的数据量，从而节省带宽资源，缩短了信息传输总时间即实现了信息加速。具体的：若发送端设备侧安装的WAN加速器判定发送端设备向接收端设备发送的数据已存储在接收端设备侧安装的WAN加速器中，则发送端设备侧安装的WAN加速器可以不向接收端设备发送该数据，从而节省带宽资源。

然而，实际实现时，发送端设备向接收端设备发送的数据与接收端设备侧安装的WAN加速器缓存的数据完全相同的情况一般不多，因此，上述WAN加速技术能够达到节省带宽资源的效果有限。

发明内容

为了达到上述目的，本申请提供了一种数据处理方法和设备，有助于节省带宽资源。

第一方面，本申请提供了一种数据处理方法，该方法可以包括：第一设备计算待传输数据的相似指纹；其中，待传输数据的相似指纹包含第一数据块的相似指纹，第一数据块是待传输数据中的一个数据块；第一设备向第二设备发送待传输数据的相似指纹，待传输数据的相似指纹用于查找第二设备中是否存储了与待传输数据相似的参考数据块；第一设备接收第二设备发送的参考数据块的指纹；其中，参考数据块的指纹包含第一参考数据块的指纹；第一参考数据块的相似指纹与第一数据块的相似指纹相同；第一设备根据第一参考数据块的指纹查找到第一设备中的第一参考数据块；第一设备基于参考数据块的指纹向第二设备发送数据；其中，该数据包含第一参考数据块和第一数据块之间的差异数据。该技术方案中，第一设备通过与第二设备进行信息交互，并在确定第二设备中存储有与第一数据块的相似的第一参考数据块时，向第二设备发送第一数据块与第一参考数据块之间的差异数据。这样，相比传输第一数据块来说，能够节省带宽资源，从而减少信息传输时间，即加快了信息传输速率。

其中，数据块的指纹是指基于该数据块的全部特征信息得到的用于标记该数据块的标识信息。不同数据块的指纹不同。数据块的相似指纹，是指基于该数据块的特定特征信息得到的用于标记该数据块的标识信息。不同数据块的相似指纹可以相同，也可以不相同。待传输数据的相似指纹，可以包含待传输数据中的每一数据块的相似指纹。参考数据块的指纹，可以包含与待传输数据中的每一数据块相似的参考数据块的指纹。与待传输数据相似的参考数据块，具体是与待传输数据中的数据块相似的参考数据块。

在一种可能的设计中，第一设备计算待传输数据的相似指纹，可以包括：第一设备利用局部敏感哈希算法对待传输数据的数据块进行哈希运算，得到数据块的相似指纹。其中，局部敏感哈希算法可以例如但不限于是minhash，simhash等。