[发明专利]使用语义距离学习的自动图像注释

说明书

背景

近年来数字成像技术的快速进步导致图像捕捉和显示设备的成本的显著降低，以及这些设备的普及度的对应的增长。例如，图像捕捉功能现在以诸如移动电话、数码相机、摄像头等各种不同的形式在大众市场层面对消费者可用。另外，膝上型计算机现在也具有集成摄像头。结果，近年来捕捉到的数字图像的数量已增长至空前水平。随之而来的数据存储和网络通信技术的进步使得大众市场消费者经济地存储图像数据并将其传递给其他人成为可能。现在也存在各种各样的大众市场软件应用，这些软件应用方便地向消费者提供出于各种不同的目的来查看、操纵和共享该图像数据的能力。

概述

提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

此处所描述的自动图像注释(AIA)技术实施例通常能够使用语义距离学习来自动注释图像。在一示例性实施例中，提供了一种自动注释新图像的技术。首先输入训练图像集，其中新图像不在该训练图像集中。然后用关键字注释向量来手动注释每一个训练图像。然后将该训练图像集划分成训练图像的多个语义聚类，其中每一个聚类包含在语义上相似的训练图像并且每一个训练图像被划分到单个聚类中。然后对于每一个聚类学习语义距离函数(SDF)。然后使用对应于每一个聚类的SDF来计算新图像和聚类中的每一个训练图像之间的成对基于特征的语义距离分数，以产生对应于该聚类的成对基于特征的语义距离分数集，其中该集合中的每一个基于特征的分数指定对新图像和聚类中的特定训练图像之间的直观语义距离的度量。然后使用对应于每一个聚类的成对基于特征的语义距离分数集来为该聚类生成排序列表，该排序列表根据聚类中的每一个训练图像离新图像的直观语义距离来对该训练图像进行排序。然后为每一个聚类估算聚类关联概率，该关联概率指定新图像在语义上与聚类相关联的概率。对于每一个聚类，然后将对聚类中的每一个训练图像的关键字注释向量概率性地传播至新图像，从而产生对该新图像的聚类专用概率性注释向量。最终，使用对应于所有聚类的聚类关联概率和聚类专用概率性注释向量来生成对新图像的最终关键字注释向量。给定已经由此处所描述的AIA技术注释的图像的数据库，当用户期望搜索该数据库并从中检索包含特定视觉特征的特定图像时，可使用为图像生成的关键字注释，通过将图像搜索/检索过程转换成基于文本的关键字搜索/检索过程来提高图像检索过程的效率和精确度。

此处所描述的语义相对比较分数(RCS)技术实施例通常提供比较两个不同的AIA算法的注释精确度的方法。在一示例性实施例中，提供了一种比较两个不同的AIA算法的注释精确度的技术。输入图像集。然后手动地将地面真值关键字注释应用于集合中的每一个图像。然后使用第一AIA算法来为集合中的每一个图像生成第一关键字注释，并且使用第二AIA算法来为集合中的每一个图像自动生成第二关键字注释。然后，计算指定对第一关键字注释和地面真值关键字注释之间的语义距离的度量的第一成对语义距离分数，并且计算指定对第二关键字注释和地面真值关键字注释之间的语义距离的度量的第二成对语义距离分数。最终，生成语义相对比较分数，该分数通过首先确定集合中的对于其第一分数小于第二分数的图像的数量并且然后将该图像数除以集合中的图像总数，来比较第一和第二AIA算法的注释精确度。

除了刚才描述的好处之外，从结合附图所考虑的以下详细描述中，此处所描述的AIA技术和语义RCS技术实施例的其它优点将变得显而易见。

附图说明

参考以下描述、所附权利要求书以及附图，将更好地理解此处所描述的自动图像注释(AIA)技术和语义相对比较分数(RCS)技术实施例的具体特征、方面和优点，附图中：

图1以简化形式示出了用于使用语义距离学习的AIA的多阶段过程的示例性实施例的图示。

图2A-2C以简化形式示出了用于自动注释新图像的过程的示例性实施例。

图3以简化形式示出了用于比较两个不同的AIA算法的注释精确度的过程的示例性实施例。

图4以简化形式示出了构成用于实现此处所描述的AIA技术实施例的示例性系统的基于网络的通用计算设备的示例性实施例的图示。

图5示出了比较由三个不同的图像注释算法应用于共同图像的关键字注释的表格。

详细描述