[发明专利]跨语言的任务训练

权利要求书

1.一种计算机实现的方法，包括：

基于对第一语言的第一句子中的第一词语的掩码，生成所述第一语言的第一掩码句子；

确定与所述第一词语相对应的第二语言的第二词语，所述第一语言不同于所述第二语言；以及

使用所述第一语言的所述第一掩码句子和所述第二语言的第二词语来预训练跨语言编码器，所述跨语言编码器基于特定任务要被进一步训练。

2.根据权利要求1所述的方法，其中预训练跨语言编码器包括：

将所述第一语言的所述第一掩码句子确定为第一输入；

将所述第二语言的所述第二词语确定为第一输出；以及

使用所述第一输入和所述第一输出来预训练所述跨语言编码器。

3.根据权利要求1所述的方法，还包括：

获得所述第二语言的第二句子；

组合所述第一语言的所述第一句子和所述第二语言的所述第二句子以获得第二输入；以及

使用所述第二输入和第二输出来预训练所述跨语言编码器，所述第二输出包括指示所述第一句子和所述第二句子是否具有相同含义的标志。

4.根据权利要求1所述的方法，还包括：

获得所述第二语言的第三句子；

组合所述第一语言的所述第一句子和所述第二语言的所述第三句子以获得第三输入；以及

使用所述第三输入和第三输出来预训练所述跨语言编码器，所述第三输出包括指示所述第三句子在语义上是否为所述第一句子的下一句子的标志。

5.根据权利要求1所述的方法，还包括：

在完成对所述跨语言编码器的预训练之后，从所述第一语言的问答语料库中获得第一问答对，所述第一问答对包括第一语言的第一问题和第一回答；以及

执行以下至少一项：

将所述第一回答从所述第一语言翻译成所述第二语言，并且使用所述第一语言的第一问题和所述第二语言的第一回答来进一步训练所述跨语言编码器，以用于所述第二语言的问答，以及

将所述第一问题从所述第一语言翻译成所述第二语言，并且使用所述第二语言的第一问题和所述第一语言的第一回答来进一步训练所述跨语言编码器，以用于所述第二语言的问答。

6.根据权利要求5所述的方法，还包括：

从所述问答语料库中获得第二问答对，所述第二问答对包括第一语言的第二问题和第二回答；

将所述第二问题和所述第二回答分别从所述第一语言翻译成所述第二语言；以及

使用所述第二语言的所述第二问题和所述第二语言的所述第二回答来微调所述跨语言编码器。

7.根据权利要求6所述的方法，还包括：

响应于在搜索引擎中接收到所述第二语言的用户查询；

使用所述跨语言编码器来确定针对所述用户查询的第二语言的回答；以及

在所述搜索引擎的搜索结果页面中呈现所述第二语言的所述回答。

8.根据权利要求1所述的方法，还包括：

从所述第一语言的自然语言推理库中获得第一句子对，所述第一句子对包括第一语言的第一前提句子和第一假设句子，所述第一前提句子和所述第一假设句子之间被标记有以下关系之一：蕴含、矛盾以及中立；以及

执行以下至少一项：

将所述第一假设句子从所述第一语言翻译成所述第二语言，并且使用所述第一语言的所述第一前提句子、所述第二语言的所述第一假设句子以及所述关系来训练所述跨语言编码器，以用于所述第二语言的推理，以及

将所述第一前提句子从所述第一语言翻译成所述第二语言，并且使用所述第二语言的第一前提句子、所述第一语言的第一假设句子以及所述关系来训练所述跨语言编码器，以用于所述第二语言的推理。

9.根据权利要求1所述的方法，还包括：

确定与所述第一词语相对应的第三语言的第三词语；以及

使用所述第一语言的所述第一掩码句子和所述第三语言的第三词语来预训练跨语言编码器，以用于与所述第三语言相关联的任务。