[发明专利]文本分析模型的训练方法及装置、文本分析方法及装置

说明书

本申请提供一种文本分析模型的训练方法及装置、文本分析方法及装置。其中，所述文本分析模型的训练方法，包括：获取训练样本，并输入至文本分析模型中，生成线性矩阵；基于所述线性矩阵进行处理，生成分数矩阵；基于所述分数矩阵与预先设置有掩盖位置的掩盖矩阵生成分数更新矩阵，以掩盖所述训练样本中的至少一个词单元；基于所述分数更新矩阵和所述线性矩阵进行自注意力处理，预测所述训练样本中掩盖的词单元，并基于预测结果与真实结果确定损失值；基于所述损失值对所述文本分析模型进行训练，直至达到训练停止条件。本申请提供的方法及装置，可以有效提高模型训练效果，有效提高文本分析的准确率。

技术领域

本申请涉及计算机技术领域，特别涉及一种文本分析模型的训练方法及装置、文本分析方法及装置、计算设备及计算机可读存储介质。

背景技术

自然语言处理(Natural Language Processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。对于自然语言处理任务，通常选用双向注意力神经网络模型(BidirectionalEncoder Representation from Transformers，BERT)进行处理。

对于BERT模型的训练，通常采用遮蔽语言模型(masked language model，MLM)，即在整个训练过程中，80％的时间采用[MASK]标志取代被选中的词，10％的时间采用随机其他词取代被选中的词，另外10％的时间被选中的词保持不变，从而训练模型的学习与分析能力。

但是，模型在使用过程中并不会输入[MASK]标志，而在训练过程中采用[MASK]标志对词语进行掩盖，引入[MASK]标志的相关信息会导致训练与使用过程数据的不一致，进而产生噪声，影响模型分析的准确性，比如，对于阅读理解类、预测类模型或模型执行阅读理解类、预测类任务的情况下，噪声的产生会降低该模型分析得到的阅读理解答案、预测结果的准确率，影响模型效果。

发明内容

有鉴于此，本申请实施例提供了一种文本分析模型的训练方法及装置、文本分析方法及装置、计算设备及计算机可读存储介质，以解决现有技术中存在的技术缺陷。

本申请实施例公开了一种文本分析模型的训练方法，包括：

获取训练样本，并输入至文本分析模型中，生成线性矩阵；

基于所述线性矩阵进行处理，生成分数矩阵；

基于所述分数矩阵与预先设置有掩盖位置的掩盖矩阵生成分数更新矩阵，以掩盖所述训练样本中的至少一个词单元；

基于所述分数更新矩阵和所述线性矩阵进行自注意力处理，预测所述训练样本中掩盖的词单元，并基于预测结果与真实结果确定损失值；

基于所述损失值对所述文本分析模型进行训练，直至达到训练停止条件。

进一步地，所述基于所述分数矩阵与预先设置有掩盖位置的掩盖矩阵生成分数更新矩阵，包括：

将所述分数矩阵与预先设置有至少一行或至少一列掩盖位置的掩盖矩阵相加，生成分数更新矩阵。

进一步地，所述训练样本包括至少一个样本语句，每一个所述样本语句对应一个所述分数矩阵，所述样本语句包括a个词单元，所述分数矩阵和所述掩盖矩阵均为b行b列的矩阵，其中，b≥a，且a和b均为正整数；

所述将所述分数矩阵与预先设置有至少一行或至少一列掩盖位置的掩盖矩阵相加生成分数更新矩阵，包括：

将所述掩盖矩阵的第c行或第c列设置为掩盖位置，c≤a，且c为整数；

将所述分数矩阵与所述掩盖矩阵相加，生成分数更新矩阵以掩盖所述样本语句中的第c个词单元。