[发明专利]一种识别重复缩略图的方法、装置及在搜索引擎中的应用

权利要求书

1.识别重复缩略图的方法，其特征在于，包括：

分析缩略图内容，获取图像的颜色特征；所述颜色特征包括全局颜色特征：所述全局颜色特征包括主颜色编号、主颜色率和颜色多样性；所述全局颜色特征通过以下方式获取：量化颜色空间模型的颜色数；根据所述颜色数，计算缩略图的归一化颜色直方图；遍历所述颜色直方图，将所述颜色直方图中的峰值分量确定为主颜色率，并将峰值对应的序号确定为主颜色编号；将颜色直方图中分量大于等于预置阈值的颜色，确定为缩略图的有效颜色，有效颜色的总数为颜色多样性；所述颜色特征还包括局部颜色特征：所述局部颜色特征包括均值颜色方格图；所述局部颜色特征通过以下方式获取：将缩略图均匀划分为n小块；计算每一小块的均值颜色，得到该缩略图的n维均值颜色方格图；

根据全局颜色特征值和局部颜色特征值计算缩略图的相似度；判断所述相似度是否符合预置条件，如果符合，则为重复缩略图；

对重复缩略图进行处理。

2.根据权利要求1所述的方法，其特征在于，所述预置条件包括：主颜色编号相同，主颜色率的相似度、颜色多样性的相似度、均值颜色方格图的相似度大于等于预置阈值。

3.根据权利要求2所述的方法，其特征在于，所述预置条件还包括：缩略图的文字信息相同。

4.根据权利要求1所述的方法，其特征在于，还包括：

利用全局颜色特征值和局部颜色特征值计算缩略图的特征编码；判断缩略图的特征编码是否相同，如果相同，则为重复缩略图。

5.根据权利要求4所述的方法，其特征在于，判断缩略图的特征编码是否相同具体包括：

将缩略图的特征编码作为哈希表的主键；

当处理一个缩略图时，判断哈希表中以该处理的缩略图的特征编码为主键的存储位置是否已被占据，如果是，则该处理的缩略图与占据所述存储位置的缩略图重复；如果否，则将该处理的缩略图的标识填入所述存储位置。

6.根据权利要求5所述的方法，其特征在于，当该处理的缩略图与占据所述存储位置的缩略图重复时，还包括：

比较所述两个缩略图的上传时间，将上传时间较新的缩略图标识填入所述存储位置，并将另一个缩略图作为重复结果。

7.根据权利要求1所述的方法，其特征在于，对重复缩略图进行处理具体包括：

将重复缩略图进行降权或删除处理。

8.识别重复缩略图的装置，其特征在于，包括：

缩略图分析单元，用于分析缩略图内容，获取图像的颜色特征；所述颜色特征包括全局颜色特征：所述全局颜色特征包括主颜色编号、主颜色率和颜色多样性；所述全局颜色特征通过以下方式获取：量化颜色空间模型的颜色数；根据所述颜色数，计算缩略图的归一化颜色直方图；遍历所述颜色直方图，将所述颜色直方图中的峰值分量确定为主颜色率，并将峰值对应的序号确定为主颜色编号；将颜色直方图中分量大于等于预置阈值的颜色，确定为缩略图的有效颜色，有效颜色的总数为颜色多样性；所述颜色特征还包括局部颜色特征：所述局部颜色特征包括均值颜色方格图；所述局部颜色特征通过以下方式获取：将缩略图均匀划分为n小块；计算每一小块的均值颜色，得到该缩略图的n维均值颜色方格图；

模糊排重单元，用于根据全局颜色特征值和局部颜色特征值计算缩略图的相似度，并判断所述相似度是否符合预置条件，如果符合，则为重复缩略图；

重复处理单元，用于对重复缩略图进行处理。

9.根据权利要求8所述的装置，其特征在于，所述预置条件包括：主颜色编号相同，主颜色率的相似度、颜色多样性的相似度、均值颜色方格图的相似度大于等于预置阈值。

10.根据权利要求9所述的装置，其特征在于，所述预置条件还包括：缩略图的文字信息相同。

11.根据权利要求8所述的装置，其特征在于，还包括：

精确排重单元，用于利用全局颜色特征值和局部颜色特征值计算缩略图的特征编码，并判断缩略图的特征编码是否相同，如果相同，则为重复缩略图。