[发明专利]利用深度网络对个人照片加标签

说明书

背景技术

当相机已经变成便携式数字设备的重要部分并且拥有便携式数字设备的用户的数量已经继续以前所未有的速率增长时，个人照片的数量空前的高。管理这样的数量不断增长的照片的基本挑战之一是在那些照片上具有合适的标签。通常，用户可以手动地审查每个图像并将一个或多个关键字或标签添加到每个照片。标签可以识别图片的位置、图片被拍摄的事件等。然而，人们一般不情愿花时间来对他们的照片加标签。一些自动加标签技术已经出现，但是存在对用于更好地对个人照片加标签的自动加标签的解决方案的需要。

发明内容

本公开内容描述了用于向个人照片提供标签的系统和方法。在至少一个示例中，使用堆叠(stacked)的卷积自动编码器和连接的顶层，使用加标签的源图像、目标图像以及个人照片本体，来训练深度网络。深度网络可以被用于对概念进行评分，概念可以被用于对个人照片加标签。本文中描述的技术还可以至少部分地基于所评分的概念来对个人照片加标签。在一些实现方式中，评分还可以基于与个人照片相关联的元数据来得到。

提供本发明内容以便以简化的形式介绍下面在具体实施方式中进一步描述的概念选择。本发明内容不旨在识别要求保护的主题的关键或必要特征，也不旨在用作确定要求保护的主题的范围的辅助。术语“技术”例如可以是指如由以上描述的上下文允许的和贯穿本文档的系统、方法、计算机可读指令、模块、算法、硬件逻辑和/或操作。

附图说明

参考附图描述具体实施方式。在附图中，附图标记的最左边的(一个或多个)数字识别该附图标记首次出现的附图。相同的附图标记在不同的附图中指示相似或相同的项。

图1是描绘如本文中描述的用于实现个人照片加标签的示例环境的框图。

图2是描绘分布式计算资源的示例计算设备的框图。

图3是描绘可以执行个人照片加标签的示例处理架构的框图。

图4是可以被用于对个人照片加标签的示例本体的框图。

具体实施方式

概述

本文中描述的示例提供使用包括例如处理单元和加速器的资源来对数字图像加标签的技术和构造。这样的资源可以使用专门的编程和/或利用特定指令编程的硬件来实现，以实现指定功能。例如，资源可以具有不同的执行模型，对于图形处理单元(GPU)和计算机处理单元(CPU)就是这种情况。

前所未有的数量的人们现在拥有被装备具有相机的个人数字设备。结果，那些人们正在拍摄越来越多的数字照片。尽管那些照片一般具有元数据(包括时间戳)，但是在数字个人照片中进行组织和/或搜索是困难的。若干应用允许用户将标签与他们的照片相关联，但是用户一般不情愿花费时间来对他们的照片加标签。最近，已经开发了一些自动加标签方案。一些这样的方案已经是基于模型的和一些无模型的。一般地，基于模型的方法严重地依赖利用机器学习算法的预训练的分类器，而无模型方法将标签传播通过视觉邻居的加标签行为。然而，两种方法都假设具有与目标域相同的或至少相似的数据分布的良好标记的数据集的可用性，因此良好标记的数据集可以确保用于训练和传播两者的良好的泛化能力。传统方案可以通过从商业图像搜索引擎爬取顶部排名的图像来收集带标记的数据集。然而，个人照片可能不会良好地映射到商业图像。个人照片的语义分布仅仅是Web图像的总体词汇的子集。例如，社会名流的个人姓名和非常具体的项不太可能出现在个人照片中。此外，个人照片中的语义分布可以偏向较少的概念。另外，个人照片一般是较低质量的，并且可以包括比被拍摄以传达单个对象的商业照片更多的对象。

本文中描述的系统可以向个人照片提供一个或多个标签。本文中描述的技术可以使用深度学习技术，来从原图像像素和/或从高级本体先验中发现中级特征抽象。这些技术可以用于对单个照片加标签，或者可以用于对一组照片加标签。

在各种示例中，用于对个人照片加标签的算法可以通过设计例如针对个人照片的特定域本体来确定。所描述的技术可以使用来自具有加标签的照片的源域的图像和来自具有未加标签的个人照片的目标域的图像，从而以自底向上的转移来训练深度网络。这些技术可以之后对网络进行精细调谐。在一些实施例中，架构可以使用本体以自顶向下的转移来训练深度网络的顶层。

一旦被训练，深度网络可以被用于在个人照片上应用来自本体的标签。网络可以考虑单个个人照片，或者多个照片可以被批处理。在一些实现方式中，通过批处理，应用深度网络对照片加标签还可以考虑来自照片的元数据。例如，时间或位置数据可以在一次考虑多于一个照片时应用标签中是有意义的。