[发明专利]跨语言检索及模型训练方法、装置、设备和存储介质

权利要求书

1.一种跨语言检索方法，包括：

接收用户输入的检索词；

根据所述检索词的检索词语义表示，在包含多种语言文档的文档库中，获取与所述检索词匹配的候选文档；

对所述候选文档进行排序，将排序后的候选文档作为检索结果，返回给所述用户。

2.根据权利要求1所述的方法，其中，所述文档库中预存多种语言文档中各语言文档的文档语义表示，所述获取与所述检索词匹配的候选文档，包括：

将所述检索词转换为检索词语义表示；

在所述各语言文档的文档语义表示中，检索与所述检索词语义表示匹配的文档语义表示；

将所述匹配的文档语义表示对应的文档作为候选文档。

3.根据权利要求2所述的方法，其中，所述检索与所述检索词语义表示匹配的文档语义表示，包括：

通过近似最近邻ANN算法，检索与所述检索词语义表示匹配的文档语义表示。

4.根据权利要求2所述的方法，其中，所述将所述检索词转换为检索词语义表示，包括：

采用跨语言语义表示模型，将所述检索词转换为检索词语义表示，所述跨语言语义表示模型采用跨语言训练语料训练得到，所述跨语言训练语料包括：机器翻译的平行语料，以及，单语言的检索词和文档对语料。

5.根据权利要求1-4任一项所述的方法，其中，所述对所述候选文档进行排序，包括：

将所述检索词和所述候选文档拼接后，作为跨语言语义匹配模型的输入数据；

采用所述跨语言语义匹配模型，对所述输入数据进行相关度计算，并根据计算得到的相关度对所述候选文档进行排序。

6.一种跨语言语义表示模型的训练方法，包括：

获取跨语言训练语料，所述跨语言训练语料包括：机器翻译的平行语料，以及，单语言的检索词和文档对语料；

采用所述跨语言训练语料，对跨语言语义表示模型进行训练。

7.根据权利要求6所述的方法，其中，所述采用所述跨语言训练语料，对跨语言语义表示模型进行训练，包括：

确定所述跨语言训练语料中的正样本和负样本；

基于跨语言语义表示模型，得到所述正样本的内积和所述负样本的内积；

在所述正样本的内积大于同批次内所有负样本的内积时，完成对所述跨语言语义表示模型的训练。

8.根据权利要求7所述的方法，其中，所述基于跨语言语义表示模型，得到所述正样本的内积和所述负样本的内积，包括：

对应所述正样本，将所述正样本的训练检索词输入到跨语言语义表示模型中得到所述正样本的第一语义表示，将所述正样本的训练文档输入到所述跨语言语义表示模型中得到所述正样本的第二语义表示，计算所述正样本的第一语义表示与所述正样本的第二语义表示的内积，作为所述正样本的内积；

对应所述负样本，将所述负样本的训练检索词输入到所述跨语言语义表示模型中得到所述负样本的第一语义表示，将所述负样本的训练文档输入到所述跨语言语义表示模型中得到所述负样本的第二语义表示，计算所述负样本的第一语义表示与所述负样本的第二语义表示的内积，作为所述负样本的内积。

9.根据权利要求7-8任一项所述的方法，其中，所述确定所述跨语言训练语料中的正样本和负样本，包括：

对应所述机器翻译的平行语料，将语义相同的两个语言的句子作为正样本，随机打乱的两个语言的句子作为负样本；和/或，

对应所述单语言检索词和文档对语料，将匹配的检索词和文档作为正样本，随机打乱的检索词和文档作为负样本。

10.一种跨语言检索装置，包括：

接收模块，用于接收用户输入的检索词；

召回模块，用于根据所述检索词的检索词语义表示，在包含多种语言文档的文档库中，获取与所述检索词匹配的候选文档；

排序模块，用于对所述候选文档进行排序，将排序后的候选文档作为检索结果，返回给所述用户。