[发明专利]基于内容的图像搜索

说明书

背景技术

在本领域中已经知道用于（比如利用搜索引擎通过因特网）搜索及检索信息的许多方法。这样的方法通常采用基于文本的搜索。基于文本的搜索采用包括一个或更多诸如单词或短语之类的文本元素的搜索查询。所述文本元素被与索引或其他数据结构相比较，以便识别出包括匹配的或者语义上类似的文本内容、元数据、文件名或其他文本表示的网页、文档、图像等等。

已知的基于文本的搜索方法对于基于文本的文档工作得相对良好，但是其很难应用于图像文件和数据。为了通过基于文本的查询来搜索图像文件，所述图像文件必须与一个或更多文本元素相关联，比如标题、文件名或者其他元数据或标签。针对基于文本的搜索所采用的搜索引擎和算法无法基于图像的内容来搜索图像文件，并且因此被限制到仅仅基于与图像相关联的数据来识别搜索结果图像。此外，这样的搜索引擎无法施行基于包括图像的搜索查询的搜索。

已经开发出基于内容的图像搜索方法，其利用对于图像内容的一项或更多项分析来识别视觉上类似的图像。但是这些方法相当繁琐，并且在能够施行搜索之前可能需要来自用户的大量输入来表征图像。此外，这样的方法效率较低并且无法很好地扩展到大规模应用，在大规模应用中例如必须快速搜索几十亿幅图像以便识别并向用户提供搜索结果图像。

发明内容

本发明的实施例由所附权利要求书而非本发明内容限定。为此，在这里提供本发明的各个方面的高级别总览，以便提供本公开内容的总览，并且介绍将在后面的详细描述部分中进一步描述的一些概念。本发明内容不意图标识出所要求保护的主题内容的关键特征或本质特征，也不意图被用来孤立地帮助确定所要求保护的主题内容的范围。

本发明的实施例总体上涉及基于内容的图像搜索。对图像的内容进行分析，并且将其采用来识别搜索结果。接收到可能包括图像的搜索查询。对图像进行处理，以便识别出其中的感兴趣的点。确定用于一个或更多感兴趣点的描述符，并且将每个描述符映射到描述符标识符。通过利用描述符标识符作为搜索元素的搜索索引来施行搜索。搜索索引采用基于扁平索引位置空间的逆排索引，一定数目的被索引图像的描述符标识符被存储在所述扁平索引位置空间中，并且通过用于每一幅被索引图像的描述符标识符之间的文档末尾指示符分开。从被索引图像当中识别出包括至少预定数目的匹配描述符标识符的候选图像。响应于搜索查询对候选图像进行排序并提供。还可以包括一个或更多文本单词或基于文本的搜索以基于图像内容识别候选图像，以及/或者提供一个或更多基于文本的搜索查询。

附图说明

下面将参照附图详细描述本发明的说明性实施例，其中：

图1是描绘出适用于本发明的实施例的示例性计算设备的方框图；

图2是描绘出适用于本发明的实施例的示例性网络环境的方框图；

图3是描绘出根据本发明的一个实施例的用于基于内容的图像搜索的系统的方框图；

图4是描绘出根据本发明的一个实施例的用于生成图像的内容表示以用于基于内容的图像搜索的方法的流程图；

图5是进一步描绘出根据本发明的一个实施例的在图4中描绘的用于生成图像的内容表示以用于基于内容的图像搜索的方法的流程图；

图6是描绘出根据本发明的一个实施例的用于索引描述符标识符的方法的流程图；

图7是描绘出根据本发明的一个实施例的用于搜索图像的方法的流程图；

图8是描绘出根据本发明的一个实施例的用于提供基于内容的候选图像和基于文本的搜索结果的方法的流程图；

图9是描绘出根据本发明的一个实施例的用于响应于基于文本的搜索查询提供基于内容的候选图像的方法的流程图；

图10是描绘出根据本发明的一个实施例的用于为作为搜索查询接收到的图像提供基于内容的候选图像的方法的流程图；

图11是描绘出根据本发明的一个实施例的用于施行基于内容的图像查询的方法的流程图；

图12是根据本发明的一个实施例的图形图像的线描表示，其描绘出所述图像中的多个感兴趣点；

图13是根据本发明的一个实施例的图形图像的线描表示，其描绘出围绕所述图像中的感兴趣点的区段；

图14是根据本发明的一个实施例的从图13的图像确定的补片集合的线描表示；

图15是根据本发明的一个实施例的从图14的补片集合确定的描述符直方图集合的表示；

图16是适用于本发明的实施例的量化表的表示；以及