[发明专利]语音查询方法和装置

权利要求书

1.一种语音查询方法，其特征在于，包括：

通过穿戴于当前标识对象身上的图像采集装置对所述当前标识对象所处的目标环境进行实时拍摄，以获取所述当前标识对象的对象视角下的待识别图像；

接收所述当前标识对象的语音查询信息，并将所述语音查询信息进行分词以及向量化处理后得到的词向量集合输入第一处理模块，以得到问题特征向量，其中，所述语音查询信息用于指示与所述目标环境相关的查询关键词；

获取所述待识别图像的多个特征信息，包括：将所述待识别图像进行分辨率调整后，输入第二处理模块，以得到所述待识别图像中的多个区域分别对应的多个区域特征向量，其中，所述多个特征信息用于表示所述待识别图像中的多个对象；

将所述问题特征向量和所述多个区域特征向量输入堆栈注意力网络，以从所述多个特征信息中查询与所述查询关键词匹配的目标特征信息；

在查询到所述目标特征信息的情况下，通过穿戴于当前标识对象身上的语音播放装置播放语音查询结果，其中，所述语音查询结果用于指示所述图像中的目标对象，所述目标对象由所述目标特征信息表示。

2.根据权利要求1所述的方法，其特征在于，从所述特征信息中查询与所述查询关键词匹配的目标特征信息包括：

将所述特征信息和所述查询关键词输入到已完成训练的查询模型，其中，所述已完成训练的查询模型用于从所述特征信息中查询与所述查询关键词匹配的所述目标特征信息；

在所述查询模型输出了所述目标特征信息的情况下，确定出查询到所述目标特征信息。

3.根据权利要求2所述的方法，其特征在于，在从所述特征信息中查询与所述查询关键词匹配的目标特征信息之前，所述方法还包括：

通过卷积神经网络对预先设置的查询模型进行训练，得到所述已完成训练的查询模型，其中，在进行所述训练的过程中，将预先得到的多个图像中的对象特征以及预先得到的信息特征作为所述查询模型的输入，所述对象特征用于表示所述多个图像中的对象，所述信息特征用于表示预定的查询问题集合中的查询问题。

4.根据权利要求3所述的方法，其特征在于，通过卷积神经网络对预先设置的查询模型进行训练，得到所述已完成训练的查询模型包括：

获取所述对象特征和所述信息特征之间的相关度；

不断调整所述查询模型中的参数的取值，直到获取到最高的所述相关度，其中，所述已完成训练的查询模型中的参数的取值为所述相关度最高时的所述参数的取值。

5.根据权利要求1所述的方法，其特征在于，在接收语音查询信息之后、且在获取待识别图像的特征信息之前，所述方法还包括：

获取与所述语音查询信息所对应的所述待识别图像，其中，所述待识别图像是在接收所述语音查询信息之后拍摄得到的、或是在接收所述语音查询信息之后从网页上获取得到的。

6.一种语音查询装置，其特征在于，包括：

接收单元，用于接收当前标识对象的语音查询信息，并将所述语音查询信息进行分词以及向量化处理后得到的词向量集合输入第一处理模块，以得到问题特征向量，其中，所述语音查询信息用于指示与目标环境相关的查询关键词，还用于对所述当前标识对象所处的目标环境进行拍摄，以获取所述当前标识对象的对象视角下的待识别图像，其中，所述待识别图像为根据当前标识对象所处的所述目标环境进行拍摄得到的实时图像；

获取单元，用于获取所述待识别图像的多个特征信息，包括：将所述待识别图像进行分辨率调整后，输入第二处理模块，以得到所述待识别图像中的多个区域分别对应的多个区域特征向量，其中，所述多个特征信息用于表示所述待识别图像中的多个对象；

查询单元，用于将所述问题特征向量和所述多个区域特征向量输入堆栈注意力网络，以从所述多个特征信息中查询与所述查询关键词匹配的目标特征信息；

播放单元，用于在查询到所述目标特征信息的情况下，通过穿戴于当前标识对象身上的语音播放装置播放语音查询结果，其中，所述语音查询结果用于指示所述图像中的目标对象，所述目标对象由所述目标特征信息表示。