[发明专利]对于搜索查询输入的多模态方式

权利要求书

1.一种用于执行多模态搜索的方法，包括：

接收（1110）包括至少两种查询模式的查询；

从所述查询提取（1120）对应于所述至少两种查询模式的相关性特征；

基于所提取的相关性特征选择（1130）多个响应结果；

基于所提取的相关性特征对所述多个响应结果进行评级（1140）；以及

显示（1150）所评级的响应结果中的一个或多个。

2.如权利要求1所述的方法，其中所接收的查询中的查询模式包括关键词、图像、视频、或者音频文件中的两个或者更多个。

3.如上述权利要求中的任一项所述的方法，其中使用合并来自所述至少两种查询模式的相关性特征的倒排的索引来选择多个响应文档。

4.如权利要求3所述的方法，其中从图像、视频、或者音频文件中提取的相关性特征被作为描述符关键词合并到倒排的索引中。

5.一种用于执行多模态搜索的方法，包括：

获取（1010）包括能够被提取的多个相关性特征的图像、视频、或者音频文件；

将所述图像、视频、或者音频文件与至少一个关键词关联起来（1020）；

将图像、视频、或者音频文件以及关联的关键词作为查询提交（1030）给搜索引擎；

接收（1040）响应于所述多个相关性特征以及关联的关键词的至少一个响应结果；以及

显示（1050）所述至少一个响应结果。

6.如上述权利要求中的任一项所述的方法，其中所提取的相关性特征对应于关键词和图像。

7.如上述权利要求中的任一项所述的方法，还包括：

从图像、视频、或者音频文件中提取元数据；

从所提取的元数据中识别一个或多个关键词；以及

形成第二查询，该第二查询至少包括从所接收的查询提取的相关性特征以及从所提取的元数据识别的关键词。

8.如权利要求7所述的方法，其中基于所提取的相关性特征对多个响应文档进行评级包括基于第二查询对多个响应文档进行评级。

9.如权利要求7或8所述的方法，其中第二查询与所显示的响应结果关联地显示。

10.如权利要求7-9中的任一项所述的方法，还包括：

基于第二查询自动地选择第二组多个响应文档；

基于第二查询对第二组多个响应文档进行评级；以及

显示来自第二组多个响应文档的至少一个文档。

11.如上述权利要求中的任一项所述的方法，其中获取作为来自与获取设备关联起来的摄像机的图像或者视频的图像或视频。

12.如上述权利要求中的任一项所述的方法，其中通过经由网络访问所存储的图像、视频、或者音频文件来获取图像、视频或者音频文件。

13.如上述权利要求中的任一项所述的方法，其中所述至少一个响应结果包括文本文档、图像、视频、音频文件、文本文档的标识、图像的标识、视频的标识、音频文件的标识、或者它们的组合。

14.如上述权利要求中的任一项所述的方法，其中所述方法还包括基于所提交的查询和对应于至少一个响应结果的元数据来显示一个或多个查询建议。

15.一种用于执行多模态搜索的方法，包括：

接收（1210）包括至少一个关键词的查询；

基于所接收的查询显示（1220）多个响应结果；

接收（1230）包括图像、视频、或者音频文件中的至少一个的补充查询输入；

基于所述补充查询输入修改（1240）多个响应结果的评级；以及

基于所修改的评级显示（1250）响应结果中的一个或多个。

16.一种计算机可读介质，包括可执行指令，所述可执行指令当在计算机上执行时用于执行如权利要求1-15中任何一个所述的方法。