[发明专利]一种基于视觉注意力模型的图像语义检索方法

说明书

技术领域

本发明涉及图像识别和检索技术，尤其涉及一种图像语义检索方法。

背景技术

随着多媒体技术和互联网技术的飞速发展，数字图像成为一种获得广泛利用的媒体。而近年来数码相机和可拍照移动设备的迅速普及，使得数字图像的获取更加容易，人们每天所接触到和需要处理的图像数量呈现几何级的增长，且应用范围也大大扩展。面对如此大规模的图像资源，如何对它们进行有效组织和快速检索，成为一个迫切需要解决的问题。由于图像不同于文本，文本本身就可以说明所讲的内容，而图像则需要借助人的主观理解来说明其含义，因此图像的检索比起文本的查询和匹配要困难得多。在上世纪70到80年代，对图像的检索主要是基于文本的检索方式，与图像相关的文本都是手工标注上去，标注的工作量大，而且依赖于标注者的个人主观判断。在1992年首次提出了基于内容的图像检索(Content-Based Image Retrieval，CBIR)技术，基于内容的图像检索(CBIR)技术由于其具有的丰富内容形式以及广泛的应用前景而得到了大量的研究，在生物医学、数字图书馆、军事、教育、商业、互联网搜索等多个领域，CBIR技术都有着广泛的潜在应用。在基于内容的图像检索系统中，图像用其本身的视觉信息(如颜色、纹理和形状等高维特征向量)进行描述，查询是根据图像之间的视觉相似性度量来实现。检索时，由于用户难以直接输入目标图像对应的特征向量，因此系统要求用户提供具有代表性的一幅示例图像或者手绘的草图，然后系统利用该图像的特征向量在图像数据库中查找与其在视觉内容上比较相似的图像，并按照相似度的大小取前面的多幅图像作为检索结果返回给用户。由于系统自动完成了图像视觉内容的提取和匹配，因此CBIR技术克服了手工标注的低效性和主观性。

在CBIR的早期阶段，研究工作主要集中于如何选择合适的全局特征(如颜色直方图、边缘方向直方图)或者特征组合去描述图像内容，然后以及采用适当的相似性度量进行图像匹配以提高检索精确度。由于全局的图像特征只提供粗粒度的语义描述，未考虑到图像中前景物体和背景的差异，因而不能反映图像丰富的细节语义信息。该方法一般只适用于简单的图像或者背景较为单一的图像。早期的CBIR原型系统如QBIC(参见文献1，Flickner M，Sawhney H，et al.Query by image and video content：the QBIC System.IEEE Computer，1995，28(9)：23-32)、Photobook(参见文献2，Pentland A，Picard R W，Sclaoff S.Photobook：toolsfor content-based manipulation of image database.In：Proc.of SPIE，Vol.2185(1994)34-47)、VisualSEEK(参见文献3，Smith J R，Chang S F.VisualSEEK：a fullyautomated content-based image query system.In：Proc.of Int.Conf.on ACMMultimedia(ACM Multimedia’96)Juan-les-Pins，France，Nov.1996：87-98)等均采用基于全局特征表示的检索模式。

由于单纯对整幅图像的颜色及纹理进行特征提取，难以有效地表达图像的本质内容，在很多情况下距离语义信息差距太大，研究遇到了很大的困难.因此通过图像分割技术，将图像分割为若干区域后实现基于区域的图像表示是理解图像语义的重要手段.虽然图像分割一直是计算机视觉领域的经典难题，但现有的一些经典分割算法已经能够在一定程度上满足图像检索的要求.鉴于此，基于区域特征的图像检索方法成为了实现图像语义检索的重要途径之一.它能够克服使用基于全局图像特征无法满足用户在对象层完成检索的需求.相对于全局图像特征，使用基于区域的特征可以对图像进行更进一步的理解和分析，也更易于获取图像的语义信息.同时，基于区域的图像检索方法更加贴近用户的检索意图，用户在检索图像时，通常情况下是想查询与待检索图像中包含的对象相似的图像集合.基于区域的图像检索方法一般采用如下的解决方案：利用经典的图像分割技术将图像分为若干个同质区域，然后对于每一个区域提取低层视觉特征，如颜色、纹理、形状等，并将其组成特征向量，最后进行基于区域的特征匹配，输出最为相似的图像集合.