[发明专利]语言模型的训练方法、装置、电子设备及可读存储介质

说明书

本申请公开了一种语言模型的训练方法、装置、电子设备及可读存储介质，涉及人工智能中的自然语言处理技术领域。具体实现方案为：预先使用语料库中的预设文本语料对语言模型进行预训练学习；将样本文本语料中的至少一个词分别替换为词掩码，得到包括至少一个词掩码的样本文本语料并输入所述语言模型，经所述语言模型输出所述至少一个词掩码中每个所述词掩码的上下文向量；分别基于每个所述词掩码的上下文向量和词向量参数矩阵确定每个所述词掩码对应的词向量；基于每个所述词掩码对应的词向量对所述语言模型进行训练。由于引入了更大粒度语义信息表示，增强了语言模型对词义信息的学习能力，可以有效避免基于字的全词覆盖可能引起的信息泄露风险。

技术领域

涉及计算机技术领域，具体涉及人工智能中的自然语言处理技术，尤其涉及一种语言模型的训练方法、装置、电子设备及可读存储介质。

背景技术

在中文自然语言处理(Natural Language Processing，NLP)领域，使用大量的无监督文本进行语言模型自监督的预训练学习(pre-training)，接着采用有监督的任务数据对语言模型进行参数精调(fine-tuning)，是当前NLP领域中先进的语言模型训练技术。

现有技术在语言模型自监督的预训练学习中，为了不使语言模型的训练效果受到分词器性能的影响，都是基于字粒度进行语言模型的自监督预训练学习，从而使得语言模型很难学出更大语义粒度(例如词)的信息，可能存在信息泄露的风险，可能会破坏语言模型对词本身语义的学习，从而影响语言模型的预测性能。

发明内容

本申请的多个方面提供一种语言模型的训练方法、装置、电子设备及可读存储介质，用以增强语言模型对词义信息的学习能力，避免基于字粒度学习引起信息泄露风险。

根据第一方面，提供了一种语言模型的训练方法，包括：

预先使用语料库中的预设文本语料对语言模型进行预训练学习；

将样本文本语料中的至少一个词分别替换为词掩码，得到包括至少一个词掩码的样本文本语料；

将所述包括至少一个词掩码的样本文本语料输入所述语言模型，经所述语言模型输出所述至少一个词掩码中每个所述词掩码的上下文向量；

分别基于每个所述词掩码的上下文向量和词向量参数矩阵确定每个所述词掩码对应的词向量；

基于每个所述词掩码对应的词向量对所述语言模型进行训练，直至满足预设训练完成条件。

根据第二方面，提供了一种语言模型的训练装置，包括：

预训练单元，用于预先使用语料库中的预设文本语料对语言模型进行预训练学习；

替换单元，用于将所述包括至少一个样本文本语料中的至少一个词分别替换为词掩码，得到包括至少一个词掩码的样本文本语料；

所述语言模型，用于接收包括词掩码的样本文本语料，输出所述至少一个词掩码中每个所述词掩码的上下文向量；

确定单元，用于分别基于每个所述词掩码的上下文向量和词向量参数矩阵确定每个所述词掩码对应的词向量；

训练单元，用于基于每个所述词掩码对应的词向量对所述语言模型进行训练，直至满足预设训练完成条件。

根据第三方面，提供一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。