[发明专利]重复信息的确定方法及相关装置

权利要求书

1.一种重复信息的确定方法，其特征在于，所述方法包括：

获得待去重文件集合；

提取待去重文件集合中每个文件的特征量，并将至少一个文件作为聚类中心，针对每一个聚类中心，执行：

计算各个文件与聚类中心的特征量的特征相似度；

以各个文件与该聚类中心的特征相似度的大小顺序，将各个文件排序为一个文件序列；并，

在文件序列中，以每一个文件为基准文件分别执行：在包含该基准文件的指定序列长度内，将与该基准文件的特征相似度满足预设条件的文件确定为该基准文件的重复文件。

2.根据权利要求1所述的方法，其特征在于，所述提取待去重文件集合中每个文件的特征量，包括：

根据预先训练好的深度卷积神经网络模型或自动编码器提取待去重文件集合中每个文件的特征量。

3.根据权利要求2所述的方法，其特征在于，采用距离测度法或相似性函数计算各个文件与聚类中心的特征相似度。

4.根据权利要求1所述的方法，其特征在于，所述提取待去重文件集合中每个文件的特征量，包括对待去重文件集合中的每一个文件分别按照下述步骤提取特征量：

对文件进行离散余弦变换；

对离散余弦变换的结果采用预设计算模型进行计算；

对计算结果进行二进制编码，将编码结果作为提取的特征量。

5.根据权利要求4所述的方法，其特征在于，所述计算各个文件与聚类中心的特征量的特征相似度，包括：

计算各个文件与聚类中心的二进制编码之间的海明距离的倒数作为特征相似度。

6.根据权利要求1-5中任一所述的方法，其特征在于，所述方法还包括：

为确定出重复文件的基准文件构建重复文件组，其中，每个重复文件组中包括基准文件标识，该基准文件的重复文件的文件标识；

对重复文件组进行合并，合并后的每个重复文件组中的文件标识不重复，且任两个重复文件组之间没有交集；

将所有合并后的重复文件组中包含的文件标识所对应的文件，存储为已经去重的文件组。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

接收展示排重结果的展示请求；

按照重复文件数量多少的顺序依次输出已经去重的文件组。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从待去重文件集合中随机选取指定数量的文件作为聚类中心。

9.一种重复信息的确定装置，其特征在于，所述装置包括：

文件获取模块，用于获得待去重文件集合；

特征量提取模块，用于提取待去重文件集合中每个文件的特征量，

处理模块，用于将至少一个文件作为聚类中心，针对每一个聚类中心，执行：计算各个文件与聚类中心的特征量的特征相似度；以各个文件与该聚类中心的特征相似度的大小顺序，将各个文件排序为一个文件序列；并，在文件序列中，以每一个文件为基准文件分别执行：在包含该基准文件的指定序列长度内，将与该基准文件的特征相似度满足预设条件的文件确定为该基准文件的重复文件。

10.根据权利要求9所述的装置，其特征在于，所述特征量提取模块根据预先训练好的深度卷积神经网络模型或自动编码器提取待去重文件集合中每个文件的特征量。

11.根据权利要求10所述的装置，其特征在于，所述处理模块用于采用距离测度法或相似性函数计算各个文件与聚类中心的特征相似度。

12.根据权利要求9所述的装置，其特征在于，所述特征量提取模块用于对待去重文件集合中的每一个文件分别按照下述步骤提取特征量：

对文件进行DCT变换；

对DCT变换的结果采用预设计算模型进行计算；

对计算结果进行二进制编码，将编码结果作为提取的特征量。