[发明专利]用于致密图像的题目关联和加标记

说明书

本申请的各实施方式涉及用于致密图像的题目关联和加标记。提供了一种用于将致密图像与题目相关联的框架。框架利用图像被训练，每个图像具有多个区域、多个视觉特性和与其相关联的多个关键词标签。针对每个图像的每个区域，视觉特征利用卷积神经网络从视觉特性被计算，并且图像特征矢量从视觉特征被生成。关键词标签被用来通过计算表示与图像相关联的关键词标签的词矢量表示的加权平均来生成针对每个图像的加权词矢量。图像特征矢量和加权词矢量在共用嵌入空间中被对齐，并且热图针对图像被计算。一旦经训练，框架就可以被用来自动地对图像加标记，并且基于相关联的热图来对图像的相对于查询的关键词的相关性排名。

技术领域

本申请的各实施方式涉及用于致密图像的题目关联和加标记。

背景技术

利用因特网的信息搜索在年轻人和老年人等等中是广泛发展的实践。一般地，希望获得与特定题目或者事物有关的知识(或者以其他方式对它们有兴趣)的人导航至在线搜索引擎，并且将查询输入到合适的查询输入字段中。然后对查询发起，并且与输入的查询相关的搜索结果的选择被呈现以用于由用户检验和/或用户的享受。随着这样的基于查询的搜索实践的普遍扩散，用于响应于输入的查询来定位和呈现相关信息的方法和系统已经变得越来越重要。例如，想要成为用户的用于进行在线搜索的首选(go-to)资源的搜索引擎正在继续精华其用以确定对输入的搜索查询的潜在搜索结果的相关性的系统和方法。

在线信息搜索中的另一发展趋势是在除了基于文本的文档之外或者代替基于文本的文档的，对在线图像的搜索。图像搜索的两种主要方法已经被广泛使用。在第一方法中，用户输入一个或者多个文本关键词，并且作为响应，与关键词相关的图像被呈现。例如，在进行关键词搜索时，可以向输入文本关键词“狗”的用户呈现示出狗的图片的多个图像。在第二方法中，例如，当用户想要查看类似图像和/或检查关于输入图像中所描绘的内容的文本信息时，利用图像作为输入的查询。通过示例的方式，在执行图像搜索之后，可以向输入文森特·梵高的“繁星之夜”图像的用户呈现文森特·梵高的其他作品和/或关于艺术家、绘画等有关的基于文本的信息。

关于是响应于基于文本的查询还是基于图像的查询来呈现图像，确定特定图像的相对于所查询的信息的相关性可能是艰苦的工作。在一些情况下，用户可以手动地将关键词与图像数据库中包括的图像相关联，和/或可以从结合图像获得和/或与图像接近的信息提取关键词。这样的关键词然后可以作为关键词标签与图像相关联。随后，当用户利用至少类似于与给定图像相关联的关键词标签的关键词来搜索图像时，可以响应于查询来呈现该给定图像。类似地，具有与其相关联的关键词作为关键词标签的输入图像在被搜索时，可以提示类似地具有与其相关联的关键词(或者类似关键词)作为关键词标签的其他图像的返回。然而，诸如这些的基于标签的方法和系统经常呈现与给定查询仅略微相关的图像，特别是在与图像相关联的关键词标签由于多个项目正在图像中被描绘而变化的情况中。

在其他情况中，搜索系统可以从给定图像提取视觉特性，并且试图将这样的特性与图像数据库中的图像的类似视觉特性匹配，以用于响应于查询来向用户呈现。例如，由于图像中可能包括大量视觉信息并且仅其一部分可能与输入查询相关，所以诸如这些类似的基于视觉特性的方法和系统可能呈现与给定查询仅略微相关的图像。

上文陈述的挑战对于致密图像甚至更加严重，致密图像也就是具有高分辨率或者以其他方式具有很多相关联信息的图像。在这样的情况中，关键词或者视觉特性经常仅与图像的一小部分相关联，这可能导致关键词和/或视觉特性信息不如具有相对少的相关联的信息的图像精确的图像。

发明内容