[发明专利]基于语言模型获取词向量的方法、装置、设备及存储介质

权利要求书

1.一种基于语言模型获取词向量的方法，包括：

分别将至少两个第一样本文本语料中的每个第一样本文本语料输入语言模型，经所述语言模型输出每个所述第一样本文本语料中第一词掩码的上下文向量；

分别针对每个所述第一样本文本语料中的每个所述第一词掩码，基于每个所述第一词掩码的上下文向量和第一词向量参数矩阵得到每个所述第一词掩码的第一概率分布矩阵，基于每个所述第一词掩码的上下文向量和第二词向量参数矩阵得到每个所述第一词掩码的第二概率分布矩阵，基于每个所述第一词掩码的上下文向量和全连接矩阵得到每个所述第一词掩码的第三概率分布矩阵；其中，所述第一词向量参数矩阵为预先训练好的、所述语言模型对应的词向量参数矩阵，所述第二词向量参数矩阵为预先训练好的、其他语言模型对应的词向量参数矩阵；

分别基于每个所述第一词掩码的所述第一概率分布矩阵、所述第二概率分布矩阵和所述第三概率分布矩阵，确定每个所述第一词掩码对应的词向量；

基于所述至少两个第一样本文本语料中第一词掩码对应的词向量对所述语言模型和所述全连接矩阵进行训练，直至满足第一预设训练完成条件，以训练好的所述第一词向量参数矩阵、所述第二词向量参数矩阵和所述全连接矩阵的集合作为词向量的集合。

2.根据权利要求1所述的方法，其中，所述基于每个所述第一词掩码的上下文向量和第一词向量参数矩阵得到每个所述第一词掩码的第一概率分布矩阵，包括：将每个所述第一词掩码的上下文向量与所述第一词向量参数矩阵相乘，得到所述第一词掩码的第一概率分布矩阵；和/或，

所述基于每个所述第一词掩码的上下文向量和第二词向量参数矩阵得到每个所述第一词掩码的第二概率分布矩阵，包括：将每个所述第一词掩码的上下文向量与所述第二词向量参数矩阵相乘，得到所述第一词掩码的第二概率分布矩阵；和/或，

所述基于每个所述第一词掩码的上下文向量和全连接矩阵得到每个所述第一词掩码的第三概率分布矩阵，包括：将每个所述第一词掩码的上下文向量与所述全连接矩阵相乘，得到所述第一词掩码的第三概率分布矩阵。

3.根据权利要求1所述的方法，其中，所述分别基于每个所述第一词掩码的所述第一概率分布矩阵、所述第二概率分布矩阵和所述第三概率分布矩阵，确定每个所述第一词掩码对应的词向量，包括：

将每个所述第一词掩码的所述第一概率分布矩阵、所述第二概率分布矩阵和所述第三概率分布矩阵相加，得到每个所述第一词掩码总概率分布矩阵；

对每个所述第一词掩码所述总概率分布矩阵中的概率值进行归一化处理，得到每个所述第一词掩码对应多个词向量的多个归一化概率值；

基于每个所述第一词掩码的对应多个词向量的多个归一化概率值确定每个所述第一词掩码对应的词向量。

4.根据权利要求1-3中任一项所述的方法，其中，所述将包括第一词掩码的第一样本文本语料输入所述语言模型，经所述语言模型输出所述第一词掩码的上下文向量之前，还包括：

对初始化语言模型和初始化第一词向量参数矩阵进行训练，直至满足第二预设训练完成条件，得到所述语言模型和所述第一词向量参数矩阵。

5.根据权利要求4所述的方法，其中，所述对初始化语言模型和初始化第一词向量参数矩阵进行训练，直至满足第二预设训练完成条件，包括：

预先使用语料库中的预设文本语料对所述初始化语言模型进行预训练学习；

将第二样本文本语料中的至少一个词分别替换为第二词掩码，得到包括至少一个第二词掩码的第二样本文本语料；

将所述包括至少一个第二词掩码的第二样本文本语料输入所述初始化语言模型，经所述初始化语言模型输出所述至少一个第二词掩码中每个所述第二词掩码的上下文向量；

基于每个所述第二词掩码的上下文向量和所述初始化第一词向量参数矩阵确定每个所述第二词掩码对应的词向量；

基于所述至少一个第二词掩码对应的词向量对所述初始化语言模型和所述初始化第一词向量参数矩阵进行训练，直至满足第二预设训练完成条件。