[发明专利]训练语义表示模型的方法、装置、设备和计算机存储介质

权利要求书

1.一种训练语义表示模型的方法，包括：

获取已针对第一语种训练得到的语义表示模型作为第一语义表示模型；

将所述第一语义表示模型的底层和顶层作为被训练层，对被训练层进行初始化，保持其他层的模型参数不变，利用第二语种的训练语料对被训练层进行训练，直至达到训练结束条件；

将未训练的各层从下至上逐次加入被训练层，并分别执行：保持除被训练层之外的其他层的模型参数不变，利用第二语种的训练语料对被训练层进行训练，直至分别达到训练结束条件；

所有层均训练结束后，得到针对第二语种的语义表示模型；

该方法还包括：获取所述已针对第一语种训练得到的语义表示模型作为第二语义表示模型；

在所述利用第二语种的训练语料对被训练层进行训练时，将所述第二语种的训练语料对应的第一语种的平行语料输入所述第二语义表示模型；将所述第二语义表示模型的输出结果与所述第一语义表示模型的输出结果进行对齐。

2.根据权利要求1所述的方法，其中，所述语义表示模型包括：Transformer模型。

3.根据权利要求1或2所述的方法，其中，所述第二语种的训练语料包括：使用第二语种的带掩码mask的文本以及所述mask对应的字符；

在对第一语义表示模型的各层进行训练时，训练目标为：所述顶层对mask的预测结果符合所述训练语料中mask对应的字符。

4.根据权利要求1所述的方法，其中，

将所述第二语义表示模型的输出结果与所述第一语义表示模型的输出结果进行对齐包括：

将所述第一语义表示模型的输出结果和所述第二语义表示模型的输出结果输入对齐模型；

由所述对齐模型利用所述第一语义表示模型的输出结果对所述第二语义表示模型的输出结果进行注意力机制的处理，对所述注意力机制的处理结果进行映射，得到对第二语种的训练语料中字符的预测结果。

5.根据权利要求4所述的方法，其中，若所述第二语种的训练语料包括：使用第二语种的带mask的文本以及所述mask对应的字符，则训练目标为：所述对第二语种的训练语料中mask的预测结果符合所述训练语料中mask对应的字符；

若所述第二语种的训练语料为第二语种的不带mask的文本，则训练目标为：所述对第二语种的训练语料中各字符的预测结果符合所述训练语料中的各字符。

6.一种训练语义表示模型的装置，包括：

第一获取单元，用于获取已针对第一语种训练得到的语义表示模型作为第一语义表示模型；

训练单元，用于将所述第一语义表示模型的底层和顶层作为被训练层，对被训练层进行初始化，保持其他层的模型参数不变，利用第二语种的训练语料对被训练层进行训练，直至达到训练结束条件；将未训练的各层从下至上逐次加入被训练层，并分别执行：保持除被训练层之外的其他层的模型参数不变，利用第二语种的训练语料对被训练层进行训练，直至分别达到训练结束条件；所有层均训练结束后，得到针对第二语种的语义表示模型；

第二获取单元，用于获取所述已针对第一语种训练得到的语义表示模型作为第二语义表示模型；

所述训练单元，还用于在所述利用第二语种的训练语料对被训练层进行训练时，将所述第二语种的训练语料对应的第一语种的平行语料输入所述第二语义表示模型；将所述第二语义表示模型的输出结果与所述第一语义表示模型的输出结果进行对齐。

7.根据权利要求6所述的装置，其中，所述语义表示模型包括：Transformer模型。

8.根据权利要求6或7所述的装置，其中，所述第二语种的训练语料包括：使用第二语种的带掩码mask的文本以及所述mask对应的字符；

所述训练单元在对第一语义表示模型的各层进行训练时，训练目标为：所述顶层对mask的预测结果符合所述训练语料中mask对应的字符。