[发明专利]跨语言检索及模型训练方法、装置、设备和存储介质

说明书

本公开公开了一种跨语言检索及模型训练方法、装置、设备、存储介质和程序产品，涉及计算机技术领域，具体涉及自然语言处理、深度学习等人工智能技术领域。跨语言检索方法包括：接收用户输入的检索词；根据所述检索词的检索词语义表示，在包含多种语言文档的文档库中，获取与所述检索词匹配的候选文档；对所述候选文档进行排序，将排序后的候选文档作为检索结果，返回给所述用户。本公开可以提高检索结果的准确度，降低时间复杂度。

技术领域

本公开涉及计算机技术领域，具体涉及自然语言处理、深度学习等人工智能技术领域，尤其涉及一种跨语言检索及模型训练方法、装置、设备和存储介质。

背景技术

自然语言处理(Natural Language Processing，NLP)是涉及计算机科学、人工智能(Artificial Intelligence，AI)和语言学的交叉技术，目的是让计算机处理或“理解”自然语言，以执行诸如语言翻译和问题回答等任务。随着语音接口和聊天机器人的兴起，NLP成为了信息时代最重要的技术之一，是人工智能的重要组成部分。

跨语言检索是指用户输入的检索词是一种语言，返回的检索结果是另一种或者多种语言。在信息日益全球化的今天，跨语言检索技术变得越来越重要。

相关技术中，跨语言检索一般基于机器翻译技术，即将源语言的检索词，翻译成目标语言的检索词，然后再使用目标语言的检索词在目标语言文档库中检索，返回检索结果。

发明内容

本公开提供了一种跨语言检索及模型训练方法、装置、设备、存储介质和程序产品。

根据本公开的一方面，提供了一种跨语言检索方法，包括：接收用户输入的检索词；根据所述检索词的检索词语义表示，在包含多种语言文档的文档库中，获取与所述检索词匹配的候选文档；对所述候选文档进行排序，将排序后的候选文档作为检索结果，返回给所述用户。

根据本公开的另一方面，提供了一种跨语言语义表示模型的训练方法，包括：获取跨语言训练语料，所述跨语言训练语料包括：机器翻译的平行语料，以及，单语言的检索词和文档对语料；采用所述跨语言训练语料，对跨语言语义表示模型进行训练。

根据本公开的另一方面，提供了一种跨语言检索装置，包括：接收模块，用于接收用户输入的检索词；召回模块，用于根据所述检索词的检索词语义表示，在包含多种语言文档的文档库中，获取与所述检索词匹配的候选文档；排序模块，用于对所述候选文档进行排序，将排序后的候选文档作为检索结果，返回给所述用户。

根据本公开的另一方面，提供了一种跨语言语义表示模型的训练装置，包括：获取模块，用于获取跨语言训练语料，所述跨语言训练语料包括：机器翻译的平行语料，以及，单语言的检索词和文档对语料；训练模块，用于采用所述跨语言训练语料，对跨语言语义表示模型进行训练。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。

根据本公开的技术方案，通过根据检索词的检索词语义表示，获取与检索词匹配的候选文档并排序，可以在跨语言检索时不需要进行翻译，可以提高检索结果不准确，并且在包含多种语言文档的文档库中检索，而不是分别在多个文档库中检索，可以降低时间复杂度。