[发明专利]一种文件去重处理的方法和系统

权利要求书

1.一种文件去重处理的方法，其特征在于，包括：

读取需要上传的用户文件，将所述用户文件进行分块处理，获取用户文件分块；

从服务器中获取与所述用户文件相似的目标文件以及目标文件分块的信息摘要值；

计算所述用户文件分块的信息摘要值，并基于所述用户文件分块与所述目标文件分块的信息摘要值的比对结果，判断所述用户文件与所述目标文件是否为重复文件；

所述将所述用户文件进行分块处理包括：

将所述用户文件分成n块，n满足公式

所述用户文件分成n块时，其中第k块的长度l_k满足公式

n为所述用户文件所分成的块数；L为所述用户文件的总位数；k为所述用户文件所分成的第k块；l_k为所述用户文件所分成的第k块的长度；

所述从服务器中获取与所述用户文件相似的目标文件包括：

将所述用户文件的第一分块的信息摘要值上传至所述服务器；

从所述服务器中获取与所述用户文件相似的目标文件分块的信息摘要值，所述服务器索引出与所述用户文件的第一分块的信息摘要值相同的文件为所述目标文件；

所述基于所述用户文件分块与所述目标文件分块的信息摘要值的比对结果，判断所述用户文件与所述目标文件是否为重复文件包括：

依次将所述用户文件与所述目标文件的每一个分块的信息摘要值进行比对；

若所有分块的信息摘要值都是相同的，则判断所述用户文件与所述目标文件为重复的文件；

若依次比对到第i分块时，所述用户文件与所述目标文件的第i分块的信息摘要值不同，则判断所述用户文件与所述目标文件不是重复文件。

2.根据权利要求1所述的一种文件去重处理的方法，其特征在于，所述判断所述用户文件与所述目标文件不是重复文件后包括：

将所述用户文件和已经完成计算的所述用户文件分块信息摘要值上传至所述服务器，所述服务器从第i+1个分块开始，继续对所述用户文件分块进行信息摘要值的计算，并存储所述用户文件和所述用户文件分块的信息摘要值。

3.一种文件去重处理的系统，包括客户端和服务器，其特征在于，所述客户端包括：

分块模块，读取需要上传的用户文件，将所述用户文件进行分块处理，获取用户文件分块；

传输模块，从服务器中获取可能重复的目标文件以及目标文件分块的信息摘要值；

判断模块，计算所述用户文件分块的信息摘要值，并基于所述用户文件分块与所述目标文件分块的信息摘要值的比对结果，判断所述用户文件与所述目标文件是否为重复文件；

所述分块模块还用于，将所述用户文件分成n块，n满足公式

所述用户文件分成n块时，第k块的长度l_k满足公式

n为所述用户文件所分成的块数；L为所述用户文件的总位数；k为所述用户文件所分成的第k块；l_k为所述用户文件所分成的第k块的长度；

所述传输模块还用于：

将所述用户文件的第一分块的信息摘要值上传至所述服务器；从所述服务器获取所述目标文件，所述服务器通过索引获得与所述用户文件的第一分块的信息摘要值相同的文件为所述目标文件；

所述判断模块包括：

比对子模块，依次将所述用户文件与所述目标文件的每一个分块的信息摘要值进行比对；

所述判断模块还用于，根据所述比对子模块的比对结果判断所述用户文件与所述目标文件是否为重复文件，若所有分块的信息摘要值都是相同的，则判断所述用户文件与所述目标文件为重复的文件；若依次比对到第i分块时，所述用户文件与所述目标文件的第i分块的信息摘要值不同，则判断所述用户文件与所述目标文件不是重复文件。

4.根据权利要求3所述的一种文件去重处理的系统，其特征在于，所述客户端中：

传输模块还用于，判断所述用户文件与所述目标文件不是重复文件后，将所述用户文件和已经完成计算的所述用户文件分块信息摘要值上传至所述服务器，所述服务器接收所述客户端发送的所述用户文件和已经完成计算的所述用户文件分块后，从第i+1个分块开始，继续对所述用户文件分块进行信息摘要值的计算，存储所述用户文件和所述用户文件分块的信息摘要值。