[发明专利]基于语言模型获取词向量的方法、装置、设备及存储介质

权利要求书

1.一种基于语言模型获取词向量的方法，包括：

将包括词掩码的样本文本语料输入语言模型，经所述语言模型输出所述词掩码的上下文向量；

基于所述词掩码的上下文向量和词向量参数矩阵确定所述词掩码对应的词向量；

基于所述词掩码对应的词向量对所述语言模型和所述词向量参数矩阵进行训练，直至满足预设训练完成条件，以训练好的词向量参数矩阵作为词向量的集合。

2.根据权利要求1所述的方法，其中，所述将包括词掩码的样本文本语料输入语言模型之前，还包括：

将所述样本文本语料中的至少一个词分别替换为词掩码，得到所述包括词掩码的样本文本语料。

3.根据权利要求2所述的方法，其中，所述将样本文本语料中的至少一个词分别替换为词掩码，包括：

对所述样本文本语料进行分词，并基于分词结果，将所述样本文本语料中至少一个词中的每个词分别替换为一个词掩码。

4.根据权利要求2所述的方法，其中，所述将所述样本文本语料中的至少一个词分别替换为词掩码，得到所述包括词掩码的样本文本语料之前，还包括：

预先使用语料库中的预设文本语料对所述语言模型进行预训练学习。

5.根据权利要求1所述的方法，其中，所述基于所述词掩码的上下文向量和词向量参数矩阵确定所述词掩码对应的词向量，包括：

将所述词掩码的上下文向量与所述词向量参数矩阵相乘，得到所述词掩码对应多个词向量的概率值；

对所述词掩码对应多个词向量的概率值进行归一化处理，得到所述词掩码对应多个词向量的多个归一化概率值；

基于所述多个归一化概率值确定所述词掩码对应的词向量。

6.根据权利要求1所述的方法，其中，所述语言模型包括知识增强语义表示ERNIE模型。

7.根据权利要求1-6中任一项所述的方法，其中，所述满足预设训练完成条件之后，还包括：

利用所述训练好的语言模型进行自然语言处理任务，得到处理结果；

根据所述处理结果与标注结果信息之间的差异，对所述语言模型中的参数值进行精调。

8.一种基于语言模型获取词向量的装置，包括：

语言模型，用于接收包括词掩码的样本文本语料，输出所述词掩码的上下文向量；

确定单元，用于基于所述词掩码的上下文向量和词向量参数矩阵确定所述词掩码对应的词向量；

训练单元，用于基于所述词掩码对应的词向量对所述语言模型和所述词向量参数矩阵进行训练，直至满足预设训练完成条件，以训练好的词向量参数矩阵作为词向量的集合。

9.根据权利要求8所述的装置，所述装置还包括：

替换单元，用于将所述样本文本语料中的至少一个词分别替换为词掩码，得到所述包括词掩码的样本文本语料。

10.根据权利要求9所述的装置，其中，所述替换单元，具体用于

对所述样本文本语料进行分词，并基于分词结果，将所述样本文本语料中至少一个词中的每个词分别替换为一个词掩码。

11.根据权利要求9所述的装置，所述装置还包括：

预训练单元，用于预先使用语料库中的预设文本语料对所述语言模型进行预训练学习。

12.根据权利要求8所述的装置，所述装置还包括：

所述词向量参数矩阵，用于与所述词掩码的上下文向量相乘，得到所述词掩码对应多个词向量的概率值；

归一化单元，用于对所述词掩码对应多个词向量的概率值进行归一化处理，得到所述词掩码对应多个词向量的多个归一化概率值；

所述确定单元，具体用于基于所述多个归一化概率值确定所述词掩码对应的词向量。