[发明专利]文件重复率计算方法及装置

权利要求书

1.一种文件重复率计算方法，其特征在于，所述方法包括：

提取多个样本文件中每个样本文件的文件指纹，得到样本指纹集合；

针对所述样本指纹集合中的每个文件指纹，计算该文件指纹的离散度，所述离散度用于表示该文件指纹与所述样本指纹集合中每个文件指纹的差异程度的均值；

根据所述样本指纹集合中各个文件指纹的所述离散度，按照预设信息量计算公式，计算所述多个样本文件的信息量，作为样本信息量；所述离散度与信息量正相关，所述离散度越高则所述样本信息量越高；

提取多个目标文件中每个目标文件的文件指纹，得到目标指纹集合；

记录所述目标指纹集合中每个属于所述样本指纹集合的文件指纹，得到重复指纹集合；

针对所述重复指纹集合中的每个文件指纹，计算该文件指纹的所述离散度；

根据所述重复指纹集合中各个文件指纹的所述离散度，计算所述多个目标文件和所述多个样本文件中重复的文件的信息量，作为重复信息量；所述离散度与信息量正相关，所述离散度越高则所述重复信息量越高；

计算所述重复信息量与所述样本信息量的比值，作为所述多个目标文件与所述多个样本文件的文件重复率；

所述针对所述样本指纹集合中的每个文件指纹，计算该文件指纹的离散度，包括：

针对所述样本指纹集合中的每个文件指纹，统计该文件指纹在所述样本指纹集合中的出现概率；

根据该文件指纹的所述出现概率，按照预设离散度计算公式，计算该文件指纹的离散度，所述预设离散度计算公式中，所述离散度与所述出现概率负相关；

所述针对所述重复指纹集合中的每个文件指纹，计算该文件指纹的所述离散度，包括：

针对所述重复指纹集合中的每个文件指纹，统计该文件指纹在所述样本指纹集合中的出现概率；

根据该文件指纹的所述出现概率，按照所述预设离散度计算公式，计算该文件指纹的离散度。

2.根据权利要求1所述的方法，其特征在于，所述预设离散度计算公式为：

D＝-log₂p

其中，D为文件指纹的离散度，p为文件指纹的所述出现概率。

3.根据权利要求1所述的方法，其特征在于，所述根据所述样本指纹集合中各个文件指纹的所述离散度，按照预设信息量计算公式，计算所述多个样本文件的信息量，作为样本信息量，包括：

加权叠加所述样本指纹集合中每个文件指纹的所述离散度，得到叠加结果，作为样本信息量；

所述根据所述重复指纹集合中各个文件指纹的所述离散度，计算所述多个目标文件和所述多个样本文件中重复的文件的信息量，作为重复信息量，包括：

加权叠加所述重复指纹集合中每个文件指纹的所述离散度，得到叠加结果，作为重复信息量。

4.根据权利要求3所述的方法，其特征在于，所述加权叠加所述样本指纹集合中每个文件指纹的所述离散度，得到叠加结果，作为样本信息量，包括：

以文件指纹在所述样本指纹集合中的出现概率作为该文件指纹的权重，加权叠加所述样本指纹集合中每个文件指纹的所述离散度，得到叠加结果，作为样本信息量；

所述加权叠加所述重复指纹集合中每个文件指纹的所述离散度，得到叠加结果，作为重复信息量，包括：

以文件指纹在所述样本指纹集合中的出现概率作为该文件指纹的权重，加权叠加所述重复指纹集合中每个文件指纹的所述离散度，得到叠加结果，作为重复信息量。