[发明专利]使用数字画布来进行数字视觉媒体的空间语义搜索

说明书

本公开的各实施例总体上涉及使用数字画布来进行数字视觉媒体的空间语义搜索。具体地，本公开包括用于基于语义和空间信息来搜索数字视觉媒体的方法和系统。具体地，所公开的系统和方法的一个或多个实施例基于经由数字画布提供的查询项和查询区域来标识在目标区域中显示目标视觉内容的数字视觉媒体。具体地，所公开的系统和方法可以接收查询项和查询区域的用户输入，并且将查询项和查询区域提供给查询神经网络以生成查询特征集。此外，所公开的系统和方法可以将查询特征集与数字视觉媒体特征集相比较。此外，基于比较，所公开的系统和方法可以标识在对应于查询区域的目标区域内描绘对应于查询项的目标视觉内容的数字视觉媒体。

相关申请的交叉引用

本申请要求于2016年10月28日提交的名称为“Utilizing A Digital Canvas ToConduct A Spatial-Semantic Search For Digital Visual Media”的美国临时专利申请No.62/414,140的优先权，其全部内容通过引用并入本文中。

技术领域

本公开的各实施例总体上涉及计算机领域，具体地涉及使用数字画布来进行数字视觉媒体的空间语义搜索。

背景技术

近年来数字视觉媒体搜索领域的技术发展迅速。事实上，由于个人计算设备和数字相机的普及，个人和企业现在经常管理数字图像和数字视频的大型库。因此，数字视觉媒体搜索已经成为各种情况下的个人和企业的无处不在的需求，从偶然用户寻找从个人照片收藏定位特定时刻到专业图形设计师通过股票图像排名以增强创意项。

作为响应，开发人员已经创建了可以搜索数字视觉媒体的各种数字搜索系统。在很大程度上，这些传统的数字搜索系统属于两个主要的搜索范例：通过基于文本的搜索实现的搜索(即，利用关键字来搜索数字图像的存储库的系统)和通过类似图像实现的搜索(即，利用现有的数字图像来搜索类似的数字图像的系统)。尽管这些传统的数字搜索系统能够标识描绘某些内容的数字视觉媒体，但是它们也具有很多缺点。例如，尽管传统的数字搜索系统能够标识数字图像中的内容，但是这样的传统的数字搜索系统不能有效地标识反映特定空间配置的数字视觉内容。

为了说明，用户经常寻求找到具有对象的特定视觉布置的数字图像。例如，专业设计师可能需要在特定位置描绘特定对象的数字图像用于创建项。现有的数字系统使得用户能够搜索描绘特定内容的数字图像，但是无法基于空间布置来准确地标识数字图像。

为了说明这一点，图1A和图1B示出了对于在其左侧持有网球拍的人的图像的传统的搜索系统的结果。图1A示出了传统的基于文本的搜索的结果，图1B示出了传统的类似的基于图像的搜索的结果。如图1A所示，单词查询102在其能力方面限于在搜索中反映空间特征。具体地，单词查询102可以描述期望的内容(即“网球拍”)，但是不能提供用于强制准确的空间约束的途径。实际上，尽管单词查询102包括描述特定配置(即“左侧”)的文本，但是这样的术语不能转换成有意义的搜索结果。因此，如图所示，单词搜索结果102a描绘包括网球拍的数字图像；然而，在数字图像中描绘的网球拍的空间配置是偶然的。因此，寻求在其左侧持有网球拍的人的图片的用户必须对单词搜索结果102a进行分类，以试图找到与期望的空间布置匹配的数字图像。

类似地，如图所示，图像查询104在其能力方面限于在搜索中反映空间信息。作为首要事项，为了搜索在其左侧持有网球拍的人的数字图像，图像查询104需要在其左侧持有网球拍的人的图像。当然，这给用户带来了很大的不便，因为缺乏示例数字图像首先是进行搜索的原因。然而，即使假设用户已经具有在其左侧持有网球拍的人的图像以生成图像查询104，图像查询104仍然无法将空间概念充分地并入到搜索中。实际上，尽管图像搜索结果104a通常包括网球拍和网球运动员，但是图像搜索结果104以各种不同的空间配置来描绘网球拍。因此，寻求在其左侧持有网球拍的人的图片的用户将必须对图像搜索结果104a进行分类，以试图找到与期望的空间布置匹配的数字图像。