[发明专利]基于多种词向量训练语言模型的方法、装置、设备及介质

权利要求书

1.一种基于多种词向量训练语言模型的方法，包括：

将包括第一词掩码的第一样本文本语料输入语言模型，经所述语言模型输出所述第一词掩码的上下文向量；

基于所述第一词掩码的上下文向量和第一词向量参数矩阵获取所述第一词掩码的第一概率分布矩阵，基于所述第一词掩码的上下文向量和第二词向量参数矩阵获取所述第一词掩码的第二概率分布矩阵；其中，所述第一词向量参数矩阵为预先训练好的、所述语言模型对应的词向量参数矩阵，所述第二词向量参数矩阵为预先训练好的、其他语言模型对应的词向量参数矩阵；

基于所述第一概率分布矩阵和所述第二概率分布矩阵确定所述第一词掩码对应的词向量；

基于所述第一词掩码对应的词向量对所述语言模型进行训练，直至满足第一预设训练完成条件。

2.根据权利要求1所述的方法，其中，所述将包括第一词掩码的样本文本语料输入语言模型，经所述语言模型输出所述第一词掩码的上下文向量之后，还包括：

基于所述第一词掩码的上下文向量和全连接矩阵获取所述第一词掩码的第三概率分布矩阵；

所述基于所述第一概率分布矩阵和所述第二概率分布矩阵确定所述第一词掩码对应的词向量，包括：

基于所述第一概率分布矩阵、所述第二概率分布矩阵和所述第三概率分布矩阵确定所述第一词掩码对应的词向量。

3.根据权利要求2所述的方法，所述基于所述第一词掩码的上下文向量和第一词向量参数矩阵获取所述第一词掩码的第一概率分布矩阵，包括：将所述第一词掩码的上下文向量与所述第一词向量参数矩阵相乘，得到所述第一词掩码的第一概率分布矩阵；和/或，

所述基于所述第一词掩码的上下文向量和第二词向量参数矩阵获取所述第一词掩码的第二概率分布矩阵，包括：将所述第一词掩码的上下文向量与所述第二词向量参数矩阵相乘，得到所述第一词掩码的第二概率分布矩阵；和/或，

所述基于所述第一词掩码的上下文向量和全连接矩阵获取所述第一词掩码的第三概率分布矩阵，包括：将所述第一词掩码的上下文向量与所述全连接矩阵相乘，得到所述第一词掩码的第三概率分布矩阵。

4.根据权利要求2所述的方法，所述基于所述第一概率分布矩阵、所述第二概率分布矩阵和所述第三概率分布矩阵确定所述第一词掩码对应的词向量，包括：

将所述第一概率分布矩阵、所述第二概率分布矩阵和所述第三概率分布矩阵相加，得到总概率分布矩阵；

对所述总概率分布矩阵中的概率值进行归一化处理，得到所述第一词掩码对应多个词向量的多个归一化概率值；

基于所述多个归一化概率值确定所述第一词掩码对应的词向量。

5.根据权利要求2所述的方法，所述基于所述第一词掩码对应的词向量对所述语言模型进行训练，直至满足第一预设训练完成条件，包括：

基于所述第一词掩码对应的词向量对所述语言模型和所述全连接矩阵进行训练，直至满足所述第一预设训练完成条件。

6.根据权利要求1-5中任一项所述的方法，其中，所述将包括第一词掩码的第一样本文本语料输入所述语言模型，经所述语言模型输出所述第一词掩码的上下文向量之前，还包括：

对初始化语言模型和初始化第一词向量参数矩阵进行训练，直至满足第二预设训练完成条件，得到所述语言模型和所述第一词向量参数矩阵。