[发明专利]使用多个视觉输入模态的视觉搜索

摘要

提供了用于web规模的视觉搜索的、能够使用视觉输入模态的组合的系统、方法和计算机可读存储媒体。创建边缘元索引，其包括对应于多个图像中的每个图像的形状描述符，所述形状描述符包括基于边缘元的表示。每个基于边缘元的表示包括描绘图像的边缘或边界轮廓的像素，并且至少部分地通过将所述图像分段成多个图像段以及在每个段上执行多相轮廓检测而被创建。在接收到具有视觉查询输入的搜索查询后，视觉查询输入被转换成包括基于边缘元的表示的形状描述符，以及多个图像中的每个图像的、包括基于边缘元的表示的形状描述符被与所述视觉查询输入的、包括基于边缘元的表示的形状描述符进行比较，以便识别所述多个图像中的、与所述视觉查询输入匹配的至少一个图像。

主权项

一种系统（200），包括处理器（114），其与计算机可读存储媒体进行通信；索引（230），其被维持在所述计算机可读存储媒体中，所述索引包括图像数据，其描述多个图像中的每个图像的一个或多个形状描述符，所述形状描述符包括基于边缘元的表示；查询接收组件（222），其接收视觉输入作为搜索查询；查询解析器（224），其将所述视觉输入转换成包括基于边缘元的表示的至少一个形状描述符；和视觉输入匹配组件（228），其将所述多个图像的、包括基于边缘元的表示的一个或多个形状描述符与来自搜索查询的视觉输入的、包括基于边缘元的表示的至少一个形状描述符进行匹配，以便识别所述多个图像中的至少一个匹配的图像。