[发明专利]基于多种词向量训练语言模型的方法、装置、设备及介质

说明书

本申请公开了一种基于多种词向量训练语言模型的方法、装置、设备及介质，涉及人工智能中的自然语言处理技术领域。具体实现方案为：将包括第一词掩码的第一样本文本语料输入语言模型，经所述语言模型输出所述第一词掩码的上下文向量；基于所述第一词掩码的上下文向量和第一词向量参数矩阵获取所述第一词掩码的第一概率分布矩阵，基于所述第一词掩码的上下文向量和第二词向量参数矩阵获取所述第一词掩码的第二概率分布矩阵；基于所述第一词掩码对应的词向量对所述语言模型进行训练。结合多种高质量词向量对语言模型进行训练，使语言模型学习到多源高质量的词义信息，增强语言模型的词义信息学习能力，提高语言模型的预测性能，避免基于字粒度学习引起信息泄露风险。

技术领域

涉及计算机技术领域，具体涉及人工智能中的自然语言处理技术，尤其涉及一种基于多种词向量训练语言模型的方法、装置、设备及介质。

背景技术

在中文自然语言处理(Natural Language Processing，NLP)领域，使用大量的无监督文本进行语言模型自监督的预训练学习(pre-training)，接着采用有监督的任务数据对语言模型进行参数精调(fine-tuning)，是当前NLP领域中先进的语言模型训练技术。

现有技术在语言模型自监督的预训练学习中，为了不使语言模型的训练效果受到分词器性能的影响，都是基于字粒度进行语言模型的自监督预训练学习，从而使得语言模型很难学出更大语义粒度(例如词)的信息，可能存在信息泄露的风险，可能会破坏语言模型对词本身语义的学习，从而影响语言模型的预测性能。

发明内容

本申请的多个方面提供一种基于多种词向量训练语言模型的方法、装置、设备及介质，用以避免基于字粒度学习引起信息泄露风险，增强语言模型对词义信息的学习能力，提高语言模型的预测性能。

根据第一方面，提供了一种基于多种词向量训练语言模型的方法，包括：

将包括第一词掩码的第一样本文本语料输入语言模型，经所述语言模型输出所述第一词掩码的上下文向量；

基于所述第一词掩码的上下文向量和第一词向量参数矩阵获取所述第一词掩码的第一概率分布矩阵，基于所述第一词掩码的上下文向量和第二词向量参数矩阵获取所述第一词掩码的第二概率分布矩阵；其中，所述第一词向量参数矩阵为预先训练好的、所述语言模型对应的词向量参数矩阵，所述第二词向量参数矩阵为预先训练好的、其他语言模型对应的词向量参数矩阵；

基于所述第一概率分布矩阵和所述第二概率分布矩阵确定所述第一词掩码对应的词向量；

基于所述第一词掩码对应的词向量对所述语言模型进行训练，直至满足第一预设训练完成条件。

根据第二方面，提供了一种基于多种词向量训练语言模型的装置，包括：

语言模型，用于接收包括第一词掩码的第一样本文本语料输入语言模型，输出所述第一词掩码的上下文向量；

获取单元，用于基于所述第一词掩码的上下文向量和第一词向量参数矩阵获取所述第一词掩码的第一概率分布矩阵，基于所述第一词掩码的上下文向量和第二词向量参数矩阵获取所述第一词掩码对应的第二概率分布矩阵；其中，所述第一词向量参数矩阵为预先训练好的、所述语言模型对应的词向量参数矩阵，所述第二词向量参数矩阵为预先训练好的、其他语言模型对应的词向量参数矩阵；

第一确定单元，用于基于所述第一概率分布矩阵和所述第二概率分布矩阵确定所述第一词掩码对应的词向量；

第一训练单元，用于基于所述第一词掩码对应的词向量对所述语言模型进行训练，直至满足第一预设训练完成条件。

根据第三方面，提供一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，