[发明专利]一种图文检索方法、装置和电子设备

权利要求书

1.一种图文检索方法，其特征在于，包括：

获取检索指令，所述检索指令中携带有检索条件；所述检索条件，包括：图像信息和文本信息；语义空间，包括：图像语义空间和文本语义空间；转换语义空间，包括：图像转换语义空间和文本转换语义空间；所述转换语义空间从真实语义空间网络的最后一层的全连接层接入，通过3层LSTM得到；

将所述检索条件分别映射到语义空间和转换语义空间中，分别得到所述检索条件在语义空间的第一向量和所述检索条件在转换语义空间的第二向量；

当所述检索条件为图像信息时，确定所述第一向量是图像语义空间对所述检索条件的特征进行映射后得到的，并确定所述第二向量是图像转换语义空间对所述检索条件的特征进行映射后得到的；

计算所述第一向量分别与所述文本转换语义空间中各向量的距离；

从所述文本转换语义空间的各向量中选择与所述第一向量的距离小于距离阈值的向量作为第一候选向量；

计算所述第二向量分别与所述文本语义空间中各向量的距离；

从所述文本语义空间的各向量中选择与所述第二向量的距离小于距离阈值的向量作为第二候选向量；

将所述第一候选向量和所述第二候选向量合并，得到所述检索条件的候选向量集合；

计算所述候选向量集合中各向量和所述第一向量的距离与所述候选向量集合中各向量和所述第二向量的距离的平均距离值；

当所述检索条件为图像信息时，从所述候选向量集合中的各向量中选择所述平均距离值较小的多个向量对应的文本信息作为所述检索条件的检索结果；

当所述检索条件为文本信息时，从所述候选向量集合中的各向量中选择所述平均距离值较小的多个向量对应的图像信息作为所述检索条件的检索结果。

2.根据权利要求1所述的方法，其特征在于，对所述第一向量和所述第二向量进行处理，得到所述检索条件的检索结果，还包括：

当所述检索条件为文本信息时，确定所述第一向量是文本语义空间对所述检索条件的特征进行映射后得到的，并确定所述第二向量是文本转换语义空间对所述检索条件的特征进行映射后得到的；

计算所述第一向量分别与所述图像转换语义空间中各向量的距离；

从所述图像转换语义空间的各向量中选择与所述第一向量的距离小于距离阈值的向量作为第一候选向量；

计算所述第二向量分别与所述图像语义空间中各向量的距离；

从所述图像语义空间的各向量中选择与所述第二向量的距离小于距离阈值的向量作为第二候选向量；

对所述第一候选向量和所述第二候选向量进行处理，得到所述检索条件的检索结果。

3.一种图文检索装置，其特征在于，包括：

获取模块，用于获取检索指令，所述检索指令中携带有检索条件；所述检索条件，包括：图像信息和文本信息；语义空间，包括：图像语义空间和文本语义空间；转换语义空间，包括：图像转换语义空间和文本转换语义空间；所述转换语义空间从真实语义空间网络的最后一层的全连接层接入，通过3层LSTM得到；

映射模块，用于将所述检索条件分别映射到语义空间和转换语义空间中，分别得到所述检索条件在语义空间的第一向量和所述检索条件在转换语义空间的第二向量；

处理模块，用于当所述检索条件为图像信息时，确定所述第一向量是图像语义空间对所述检索条件的特征进行映射后得到的，并确定所述第二向量是图像转换语义空间对所述检索条件的特征进行映射后得到的；计算所述第一向量分别与所述文本转换语义空间中各向量的距离；从所述文本转换语义空间的各向量中选择与所述第一向量的距离小于距离阈值的向量作为第一候选向量；计算所述第二向量分别与所述文本语义空间中各向量的距离；从所述文本语义空间的各向量中选择与所述第二向量的距离小于距离阈值的向量作为第二候选向量；将所述第一候选向量和所述第二候选向量合并，得到所述检索条件的候选向量集合；

计算所述候选向量集合中各向量和所述第一向量的距离与所述候选向量集合中各向量和所述第二向量的距离的平均距离值；

当所述检索条件为图像信息时，从所述候选向量集合中的各向量中选择所述平均距离值较小的多个向量对应的文本信息作为所述检索条件的检索结果；

当所述检索条件为文本信息时，从所述候选向量集合中的各向量中选择所述平均距离值较小的多个向量对应的图像信息作为所述检索条件的检索结果。