[发明专利]用于致密图像的题目关联和加标记

权利要求书

1.一种计算机系统，包括：

一个或者多个处理器；以及

存储计算机可用指令的一个或者多个计算机存储介质，当由所述一个或者多个处理器使用时，使得所述一个或者多个处理器：

接收多个图像，所述多个图像中的每个图像与多个标签相关联，并且所述多个图像中的每个图像包括多个区域，每个区域包括少于整个图像；

针对所述多个图像中的每个图像的每个区域，从一个或者多个视觉特征生成图像特征矢量；

针对所述多个图像中的每个图像，从相关联的所述多个标签生成加权词矢量；以及

通过将针对给定图像的每个区域的所述图像特征矢量和所述加权词特征矢量对齐到共用嵌入空间中来计算与所述图像对应的热图，其中所述热图的多个区域与所述图像的所述多个区域对应，并且其中所述热图的所述多个区域中的至少一个区域与所述多个标签中的每个标签对应。

2.根据权利要求1所述的计算系统，其中针对所述多个图像中的每个图像，所述一个或者多个处理器还被使得计算所述一个或者多个视觉特征。

3.根据权利要求2所述的计算系统，其中所述一个或者多个视觉特征利用卷积神经网络被计算。

4.根据权利要求1所述的计算系统，其中针对所述多个图像中的每个图像，所述一个或者多个处理器还被使得：

生成针对相关联的所述多个标签中的每个标签的词矢量表示；

计算生成的所述词矢量表示的加权平均以生成所述加权词矢量；以及

在所述共用嵌入空间中将所述加权词矢量归一化。

5.根据权利要求4所述的计算系统，其中针对相关联的所述多个标签中的每个标签的所述词矢量表示利用逐点互信息被生成。

6.根据权利要求4所述的计算系统，其中所述加权平均至少部分地针对所述多个标签中的每个标签均匀地被计算。

7.根据权利要求4所述的计算系统，其中所述加权平均至少部分地利用逆文档频率被计算。

8.根据权利要求4所述的计算系统，其中相关联的所述多个标签中的每个标签是用户提供的标签，并且其中所述加权平均至少部分地利用标签顺序被计算，在所述标签顺序中，当相关联的所述多个标签中的第一标签在相关联的所述多个标签中的第二标签之前由所述用户提供时，所述第一标签被指派比所述第二标签更大的权重。

9.根据权利要求1所述的计算系统，其中所述加权词矢量和所述图像特征矢量利用余弦相似性损失被对齐。

10.根据权利要求1所述的计算系统，其中针对所述多个区域中的每个区域的所述图像特征矢量共同地包括矢量图，并且其中针对所述多个区域中的每个区域的嵌入的图像特征矢量共同地包括图像嵌入图。

11.根据权利要求10所述的计算系统，其中所述一个或者多个处理器还被使得：

从所述矢量图采集局部特征矢量；

将所述局部特征矢量与针对所述多个区域中的一个区域的嵌入的图像特征矢量连结，以形成题目引导的特征矢量；

从所述题目引导的特征矢量生成第二嵌入的图像特征矢量；以及

通过利用余弦相似性损失将所述第二图像嵌入矢量与所述加权词矢量对齐到所述共用嵌入空间中来计算与所述图像对应的第二热图。