[发明专利]对图像进行语义注释的系统和方法

说明书

技术领域

本申请总地来说涉及图像处理领域，且更具体地涉及一种对多个图像中的图像进行语义注释的方法，以及一种使得能够至少部分地基于与多个图像中的图像相关联的图像级别注释对所述图像进行基于文本的搜索的系统。

背景技术

图像检索技术用来帮助用户在海量的图像集中浏览、搜索和检索图像。这些技术使得用户能够在通过因特网可访问的图像和/或任意其它图像集中搜索他们寻找的一个或更多个图像。例如，用户可以使用搜索引擎来搜索物体(例如建筑)或者人(例如名人)的图像。为此，用户可以输入诸如“建筑”或者“名人”的搜索询问，以找到用户寻找的图像。

搜索引擎可以基于与被搜索的图像相关联的文本注释，响应于用户的搜索询问识别一个或更多个图像。特别地，可以将用户的搜索询问与和被搜索的图像中的每个相关联的一个或更多个文本注释进行比较，并且基于比较的结果向用户呈现搜索结果。例如，如果用户正在使用搜索询问“建筑”来搜索图像，则搜索引擎可以返回使用包括词语“建筑”的文本进行了注释的图像。

因此，图像搜索结果的质量取决于与被搜索的图像相关联的注释以及如何识别这些注释。用于图像注释的一些传统技术包含基于图像出现于其中的文档中的数据将注释与该图像相关联。例如，搜索引擎可以从该网页中的信息（诸如图像标签中的信息(例如标题、元数据等)和/或围绕网页中的图像的信息）中识别针对出现在该网页中的图像的注释。

发明内容

用户可以基于与被搜索的图像相关联的文本注释来搜索图像，这样就可以对被搜索的图像集进行注释。然而，一般以注释对应于包含图像的文档(例如网页)而不是图像本身或者图像内的任意区域的方式，对许多被搜索的图像进行注释。继而，这限制了可以用来搜索图像集中的图像的搜索逻辑，并且限制了搜索引擎可以对该集中的图像编索引的方式。相应地，公开了通过对被搜索的图像的区域分配注释来对图像进行注释的技术。例如，可以对诸如像素或者一组像素的图像区域进行注释。可以至少部分基于其它图像中的相应图像区域，对图像区域分配注释。相应图像区域可以是与被注释的区域相似的图像区域，并且可以基于图像和一个或更多个图像特征之间的相似度度量来被识别。所获得的图像区域注释使得能够使用扩展搜索逻辑、例如通过搜索包含彼此相接的两个特定类型的对象的图像，来搜索图像。

还可以在图像搜索之外的情境中应用图像的语义注释。相应地，在一些实施例中，提供一种对多个图像中的图像进行语义注释的方法，所述多个图像中的每个图像包括至少一个图像区域。该方法包括：识别包括第一图像和第二图像的至少两个相似图像；识别所述第一图像和所述第二图像中的相应图像区域；以及使用至少一个处理器，通过使用拟合度对所述多个图像中的一个或更多个图像中的图像区域分配注释，所述拟合度指示所分配的注释和所述相应图像区域之间的匹配程度。所述拟合度取决于所述多个图像的子集中的每个图像的至少一个注释以及所识别的所述第一图像和所述第二图像中的图像区域之间的对应关系。

在另一方面，提供一种使得能够至少部分基于与多个图像中的图像相关联的图像级别注释对所述图像进行基于文本的搜索的系统。该系统包括：至少一个处理器，被配置为：识别包括第一图像和第二图像的至少两个相似图像；识别所述第一图像和所述第二图像中的相应图像区域；以及通过使用拟合度对所述多个图像中的一个或更多个图像中的图像区域分配注释，所述拟合度指示所分配的注释和所述相应图像区域之间的匹配程度。所述拟合度取决于所述多个图像的子集中的每个图像的至少一个注释以及所识别的所述第一图像和所述第二图像中的图像区域之间的对应关系。

在又一方面，提供至少一个计算机可读存储介质。该至少一个计算机可读存储介质存储处理器可执行指令，当由至少一个处理器执行时，该处理器可执行指令执行对多个图像中的图像进行语义注释的方法，所述多个图像中的每个图像包括一个或更多个像素。该方法包括：针对所述多个图像的子集中的每个图像获得至少一个图像级别注释；识别包括第一图像和第二图像的至少两个相似图像；识别所述第一图像和所述第二图像中的相应像素；以及使用拟合度对所述多个图像中的一个或更多个图像中的像素分配注释，所述拟合度指示所分配的注释和所述相应像素之间的匹配程度。所述拟合度取决于至少一个获得的图像级别注释以及所识别的所述第一图像和所述第二图像中的像素之间的对应关系。

前述内容是本发明的非限制性概述，本发明由所附权利要求限定。

附图说明