[发明专利]基于语言模型获取词向量的方法、装置、设备及存储介质

说明书

本申请公开了一种基于语言模型获取词向量的方法、装置、设备及存储介质，涉及人工智能中的自然语言处理技术领域。具体实现方案为：分别将至少两个第一样本文本语料中的每个第一样本文本语料输入语言模型，经所述语言模型输出每个所述第一样本文本语料中第一词掩码的上下文向量；分别基于第一词向量参数矩阵、第二词向量参数矩阵和全连接矩阵确定每个所述第一词掩码对应的词向量；基于所述至少两个第一样本文本语料中第一词掩码对应的词向量对所述语言模型和所述全连接矩阵进行训练，得到词向量。本申请可以避免基于字粒度学习引起信息泄露风险，增强语言模型对词义信息的学习能力，并加快词向量收敛速度、提升训练效果。

技术领域

涉及计算机技术领域，具体涉及人工智能中的自然语言处理技术，尤其涉及一种基于语言模型获取词向量的方法、装置、设备及存储介质。

背景技术

在中文自然语言处理(Natural Language Processing，NLP)领域，使用大量的无监督文本进行语言模型自监督的预训练学习(pre-training)，接着采用有监督的任务数据对语言模型进行参数精调(fine-tuning)，是当前NLP领域中先进的语言模型训练技术。

现有技术在语言模型自监督的预训练学习中，为了不使语言模型的训练效果受到分词器性能的影响，都是基于字粒度进行语言模型的自监督预训练学习，从而使得语言模型很难学出更大语义粒度(例如词)的信息，可能存在信息泄露的风险，可能会破坏语言模型对词本身语义的学习，从而影响语言模型的预测性能。

发明内容

本申请的多个方面提供一种基于语言模型获取词向量的方法、装置、设备及存储介质，用以避免基于字粒度学习引起信息泄露风险，增强语言模型对词义信息的学习能力，并加快词向量收敛速度、提升训练效果。

根据第一方面，提供了一种基于语言模型获取词向量的方法，包括：

分别将至少两个第一样本文本语料中的每个第一样本文本语料输入语言模型，经所述语言模型输出每个所述第一样本文本语料中第一词掩码的上下文向量；

分别针对每个所述第一样本文本语料中的每个所述第一词掩码，基于每个所述第一词掩码的上下文向量和第一词向量参数矩阵得到每个所述第一词掩码的第一概率分布矩阵，基于每个所述第一词掩码的上下文向量和第二词向量参数矩阵得到每个所述第一词掩码的第二概率分布矩阵，基于每个所述第一词掩码的上下文向量和全连接矩阵得到每个所述第一词掩码的第三概率分布矩阵；其中，所述第一词向量参数矩阵为预先训练好的、所述语言模型对应的词向量参数矩阵，所述第二词向量参数矩阵为预先训练好的、其他语言模型对应的词向量参数矩阵；

分别基于每个所述第一词掩码的所述第一概率分布矩阵、所述第二概率分布矩阵和所述第三概率分布矩阵，确定每个所述第一词掩码对应的词向量；

基于所述至少两个第一样本文本语料中第一词掩码对应的词向量对所述语言模型和所述全连接矩阵进行训练，直至满足第一预设训练完成条件，得到训练好的所述语言模型、以及所述第一词向量参数矩阵和所述第二词向量参数矩阵对应词的词向量。

根据第二方面，提供了一种基于语言模型获取词向量的装置，包括：

语言模型，用于接收至少两个第一样本文本语料中的每个第一样本文本语料输入语言模型，输出每个所述第一样本文本语料中第一词掩码的上下文向量；

获取单元，用于分别针对每个所述第一样本文本语料中的每个所述第一词掩码，基于每个所述第一词掩码的上下文向量和第一词向量参数矩阵得到每个所述第一词掩码的第一概率分布矩阵，基于每个所述第一词掩码的上下文向量和第二词向量参数矩阵得到每个所述第一词掩码的第二概率分布矩阵，基于每个所述第一词掩码的上下文向量和全连接矩阵得到每个所述第一词掩码的第三概率分布矩阵；其中，所述第一词向量参数矩阵为预先训练好的、所述语言模型对应的词向量参数矩阵，所述第二词向量参数矩阵为预先训练好的、其他语言模型对应的词向量参数矩阵；