[发明专利]一种数据处理方法和设备

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

第一设备计算待传输数据的相似指纹，包括：所述第一设备切分待传输数据得到数据块；对于每一个数据块，所述第一设备执行如下操作：提取所述数据块中的至少一个子数据块；利用m种哈希算法，分别对所述至少一个子数据块进行哈希运算，得到m个哈希序列；其中，利用1种哈希算法对所述至少一个子数据块进行哈希运算，得到1个哈希序列；m是大于等于2的整数；将所述m个哈希序列中的每一哈希序列中的最大值进行合并，并将合并后得到的哈希序列作为所述数据块的相似指纹；或者，将所述m个哈希序列中的每一哈希序列中的最小值进行合并，并将合并后得到的哈希序列作为所述数据块的相似指纹；其中，所述待传输数据的相似指纹包含第一数据块的相似指纹，所述第一数据块是所述待传输数据中的一个数据块；所述第一数据块的相似指纹为基于所述第一数据块的特定特征信息得到的用于标记所述第一数据块的标识信息；

所述第一设备向第二设备发送所述待传输数据的相似指纹，所述待传输数据的相似指纹用于查找所述第二设备中是否存储了与所述待传输数据相似的参考数据块；

所述第一设备接收所述第二设备发送的参考数据块的指纹；其中，所述参考数据块的指纹包含第一参考数据块的指纹；所述第一参考数据块的相似指纹与所述第一数据块的相似指纹相同；

所述第一设备根据所述第一参考数据块的指纹查找到所述第一设备中的所述第一参考数据块；

所述第一设备基于所述参考数据块的指纹向所述第二设备发送数据；其中，所述数据包含所述第一参考数据块和所述第一数据块之间的差异数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述第一设备利用差异压缩算法，对所述第一参考数据块和所述第一数据块进行差异压缩。

3.根据权利要求1所述的方法，其特征在于，所述待传输数据的相似指纹还包含第二数据块的相似指纹，所述第二数据块是所述待传输数据中的另一个数据块；所述参考数据块的指纹不包含第二参考数据块的指纹；所述第二参考数据块的相似指纹与所述第二数据块的相似指纹相同；所述数据还包含所述第二数据块。

4.根据权利要求1所述的方法，其特征在于，所述第一设备包括第一级缓存和第二级缓存，所述第一级缓存是非持久化介质，所述第二级缓存是持久化介质，所述第一级缓存用于缓存所述第二级缓存中存储的部分或全部数据块，以及所述部分或全部数据块的指纹和相似指纹；所述方法还包括：

所述第一设备在所述第一级缓存中查找所述第一参考数据块的指纹；若在所述第一级缓存中查找不到所述第一参考数据块的指纹，则在所述第二级缓存中查找所述第一参考数据块的指纹。

5.根据权利要求4所述的方法，其特征在于，所述第二级缓存包括一个或多个容器，每一容器是至少两个数据块以及所述至少两个数据块中每一数据块的指纹和相似指纹构成的集合，每一容器中的至少两个数据块的内容之间具有相关性；所述方法还包括：

所述第一设备若在所述第二级缓存中查找到一个数据块，则将所述数据块所在的容器缓存至所述第一级缓存中。