[发明专利]用于致密图像的题目关联和加标记

摘要

本申请的各实施方式涉及用于致密图像的题目关联和加标记。提供了一种用于将致密图像与题目相关联的框架。框架利用图像被训练，每个图像具有多个区域、多个视觉特性和与其相关联的多个关键词标签。针对每个图像的每个区域，视觉特征利用卷积神经网络从视觉特性被计算，并且图像特征矢量从视觉特征被生成。关键词标签被用来通过计算表示与图像相关联的关键词标签的词矢量表示的加权平均来生成针对每个图像的加权词矢量。图像特征矢量和加权词矢量在共用嵌入空间中被对齐，并且热图针对图像被计算。一旦经训练，框架就可以被用来自动地对图像加标记，并且基于相关联的热图来对图像的相对于查询的关键词的相关性排名。

主权项

1.一种计算机系统，包括：一个或者多个处理器；以及存储计算机可用指令的一个或者多个计算机存储介质，当由所述一个或者多个处理器使用时，使得所述一个或者多个处理器：接收多个图像，所述多个图像中的每个图像与多个标签相关联，并且所述多个图像中的每个图像包括多个区域，每个区域包括少于整个图像；针对所述多个图像中的每个图像的每个区域，从一个或者多个视觉特征生成图像特征矢量；针对所述多个图像中的每个图像，从相关联的所述多个标签生成加权词矢量；以及通过将针对给定图像的每个区域的所述图像特征矢量和所述加权词特征矢量对齐到共用嵌入空间中来计算与所述图像对应的热图，其中所述热图的多个区域与所述图像的所述多个区域对应，并且其中所述热图的所述多个区域中的至少一个区域与所述多个标签中的每个标签对应。