[发明专利]语言模型的训练方法、装置、电子设备及可读存储介质

权利要求书

1.一种语言模型的训练方法，包括：

预先使用语料库中的预设文本语料对语言模型进行预训练学习；

将样本文本语料中的至少一个词分别替换为词掩码，得到包括至少一个词掩码的样本文本语料；

将所述包括至少一个词掩码的样本文本语料输入所述语言模型，经所述语言模型输出所述至少一个词掩码中每个所述词掩码的上下文向量；

分别基于每个所述词掩码的上下文向量和词向量参数矩阵确定每个所述词掩码对应的词向量；其中，所述词向量参数矩阵中包括词表中各词的词向量的具体表示；

基于每个所述词掩码对应的词向量对所述语言模型进行训练，直至满足预设训练完成条件。

2.根据权利要求1所述的方法，其中，所述将样本文本语料中的至少一个词分别替换为词掩码，包括：

对所述样本文本语料进行分词，并基于分词结果，将所述样本文本语料中的至少一个词中的每个词分别替换为一个词掩码。

3.根据权利要求1所述的方法，其中，所述基于每个所述词掩码的上下文向量和词向量参数矩阵确定每个所述词掩码对应的词向量，包括：

将每个所述词掩码的上下文向量与所述词向量参数矩阵相乘，得到每个所述词掩码对应多个词向量的概率值；

对每个所述词掩码对应多个词向量的概率值进行归一化处理，得到每个所述词掩码对应多个词向量的多个归一化概率值；

基于每个所述词掩码对应多个词向量的多个归一化概率值，确定每个所述词掩码对应的词向量。

4.根据权利要求1所述的方法，其中，所述词向量参数矩阵包括预先训练好的词向量参数矩阵；或者，所述词向量参数矩阵包括初始化词向量参数矩阵；

所述基于每个所述词掩码对应的词向量对所述语言模型进行训练，直至满足预设训练完成条件，包括：

基于每个所述词掩码对应的词向量对所述语言模型和所述初始化词向量参数矩阵进行训练，直至满足预设训练完成条件。

5.根据权利要求1所述的方法，其中，所述语言模型包括知识增强语义表示ERNIE模型。

6.根据权利要求1-5中任一项所述的方法，其中，所述满足预设训练完成条件之后，还包括：

利用训练好的语言模型进行自然语言处理任务，得到处理结果；

根据所述处理结果与标注结果信息之间的差异，对所述语言模型中的参数值进行精调。

7.一种语言模型的训练装置，包括：

预训练单元，用于预先使用语料库中的预设文本语料对语言模型进行预训练学习；

替换单元，用于将所述包括至少一个样本文本语料中的至少一个词分别替换为词掩码，得到包括至少一个词掩码的样本文本语料；

所述语言模型，用于接收包括词掩码的样本文本语料，输出所述至少一个词掩码中每个所述词掩码的上下文向量；

确定单元，用于分别基于每个所述词掩码的上下文向量和词向量参数矩阵确定每个所述词掩码对应的词向量；其中，所述词向量参数矩阵中包括词表中各词的词向量的具体表示；

训练单元，用于基于每个所述词掩码对应的词向量对所述语言模型进行训练，直至满足预设训练完成条件。

8.根据权利要求7所述的装置，所述装置还包括：

分词单元，用于对所述样本文本语料进行分词；

所述替换单元，具体用于基于所述分词单元得到的分词结果，将所述样本文本语料中的至少一个词中的每个词分别替换为一个词掩码。

9.根据权利要求7所述的装置，所述装置还包括：

所述词向量参数矩阵，用于与每个所述词掩码的上下文向量相乘，得到每个所述词掩码对应多个词向量的概率值；

归一化单元，用于对每个所述词掩码对应多个词向量的概率值进行归一化处理，得到每个所述词掩码对应多个词向量的多个归一化概率值；

所述确定单元，具体用于基于每个所述词掩码对应多个词向量的多个归一化概率值，确定每个所述词掩码对应的词向量。