[发明专利]用于具有多个文本标签的图像的嵌入空间

摘要

描述用于具有多个文本标签的图像的嵌入空间。在嵌入空间中，嵌入了文本标签和图像区域二者。嵌入的文本标签描述可以在图像内容中被展示的语义概念。嵌入空间被训练以将嵌入的文本标签语义地相关，从而使得如“太阳”和“日落”之类的标签比“太阳”和“鸟”被更接近地相关。训练嵌入空间也包括将具有举例说明语义概念的图像内容的代表性图像映射到相应的文本标签。不同于对于与训练图像关联的每个文本标签将整个训练图像嵌入到嵌入空间中的常规技术，这里描述的技术处理训练图像以生成与多个文本标签对应的区域。训练图像的区域然后以将该区域映射到对应的文本标签的方式被嵌入到训练空间中。

主权项

一种由计算设备实施以用多个文本标签对个体图像作注解以描述所述图像的内容的方法，所述方法包括：处理具有多个文本标签的训练图像以生成与相应的所述多个文本标签对应的图像区域的集合；部分基于与所述训练图像的所述图像区域对应的所述多个文本标签在嵌入空间中被嵌入的位置，在被配置为嵌入文本标签和被映射到所述文本标签的图像区域二者的所述嵌入空间内嵌入图像区域的所述集合；学习将图像区域映射到在所述嵌入空间中嵌入的所述文本标签的映射函数，所述学习部分基于在所述嵌入空间内所述嵌入图像区域的所述集合；通过使用学习的所述映射函数将查询图像的图像区域映射到所述嵌入空间来发现与所述查询图像的所述图像区域对应的文本标签；以及用发现的所述文本标签中的至少两个文本标签对所述查询图像作注解。