[发明专利]一种图像过滤方法及系统

说明书

技术领域

本发明涉及图像处理领域，特别地涉及一种图像过滤方法及系统。

背景技术

随着信息爆炸时代的来临，互联网上充斥着着大量的重复信息，有效地识别它们是一个很有意义的课题。例如，对于搜索引擎的爬虫系统来说，收录重复的图片是毫无意义的，只会造成存储和计算资源的浪费；同时，展示重复的信息对于用户来说也并不是最好的体验。对于图片来说，产生重复图片的原因主要包括：

镜像网站，图像的统一资源定位符url虽然不同，但图像的内容完全相同。

图像的转载，图像内容主体一致，但使用了图像处理工具对图像进行了进一步处理：比如添加网站logo、对图像尺寸进行缩放、对图像内容进行细微裁剪、改变图像的压缩质量、改变图像的色度、饱和度等等。

传统的图像去重方法大多在爬虫系统中进行，通过图像的url或附加一些图像的尺寸、大小等信息等拼成一个字符串，对此字符串使用HASH函数进行指纹化，再使用布隆滤波器（bloom filter）判断此图像是否被爬取过，如果没有，进行图片下载，否则放弃，这样可以防止同一地址的图片被重复下载。

但是对于上述的两种情况的重复图片，在爬虫阶段都不能直接过滤掉，需要后续通过图像处理算法对重复图片进行识别和删除。在现有的近似重复图像过滤系统中，多数采用基于检索的方式对被检测图像的特征或指纹进行全库检索，如中国专利申请号200910146726.5的专利，就是使用的这种方法，该专利介绍的系统虽然通过聚类的方法对图像数据库进行了分类，缩小了检索图像的规模，但是基于检索的近似重复图像过滤系统在效率上相对较低，如何更为有效地进行图像过滤成为一个有待解决的问题。

发明内容

本发明解决的技术问题在于提供了一种图像过滤方法及系统，以有效地进行图像过滤，提高过滤效率。

为解决上述问题，本发明提供了一种图像过滤方法，包括，对所述图像进行图像特征的提取；根据提取的图像特征，对所述图像进行图像指纹的提取；根据提取的图像指纹，通过布隆滤波器对所述图像进行过滤。

本发明还提供了一种图像过滤系统，包括，图像特征提取模块，用于对所述图像进行图像特征的提取；图像指纹提取模块，用于根据提取的图像特征，对所述图像进行图像指纹的提取；图像过滤模块，用于根据提取的图像指纹，通过布隆滤波器对所述图像进行过滤。

采用本发明的技术方案，能过滤掉图像主体一致，但是在图像尺寸、压缩质量、色度、对比度、logo上存在细微差别的近似重复图像，进一步地可以避免了对全部图像进行特征提取和通过检索的方式过滤相似图的步骤，使用布隆滤波器进行近似重复图像过滤的效率较高，且所耗费的存储和计算资源较少。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明第一实施例流程图；

图2是本发明第二实施例结构图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明的实施例中， 多次使用了布隆滤波器，首先介绍一下布隆滤波器的概念和工作原理。

布隆滤波器（Bloom filter）是由 Howard Bloom 在 1970 年提出的二进制向量数据结构，它具有很好的空间和时间效率，被用来检测一个元素是不是集合中的一个成员。Bloom filter 采用的是哈希函数的方法，将一个元素映射到一个 m 长度的阵列上的一个点，当这个点是 1 时，那么这个元素在集合内，反之则不在集合内。这个方法的缺点就是当检测的元素很多的时候可能有冲突，解决方法就是使用 k 个哈希函数对应 k 个点，如果所有点都是 1 的话，那么元素在集合内，如果有 0 的话，元素则不在集合内。

如图1所示，是本发明第一实施例流程图，提供了一种图像过滤方法，具体包括，

步骤S101，对所述图像进行图像特征的提取；

在该方法中， 为了使对近似重复的图像的描述更加全面和精确，所述图像特征包括图像的颜色、轮廓、LAB特征。

其中颜色特征的提取步骤如下：

（1）将彩色图像由RGB颜色模型转化为HSV颜色模型；