[发明专利]文本分析模型的训练方法及装置、文本分析方法及装置

权利要求书

1.一种文本分析模型的训练方法，其特征在于，包括：

获取训练样本，并输入至文本分析模型中，生成线性矩阵；

基于所述线性矩阵进行处理，生成分数矩阵，其中，所述分数矩阵为训练样本中多个样本语句分别对应的矩阵；

基于所述分数矩阵与预先设置有掩盖位置的掩盖矩阵生成分数更新矩阵，以掩盖所述训练样本中的至少一个词单元，其中，所述掩盖矩阵是用于对样本语句中的一个或多个词单元进行掩盖隐藏的工具矩阵，其中每一行或每一列掩盖位置对应掩盖样本语句中的一个词单元；

基于所述分数更新矩阵和所述线性矩阵进行自注意力处理，预测所述训练样本中掩盖的词单元，并基于预测结果与真实结果确定损失值；

基于所述损失值对所述文本分析模型进行训练，直至达到训练停止条件。

2.根据权利要求1所述的文本分析模型的训练方法，其特征在于，所述基于所述分数矩阵与预先设置有掩盖位置的掩盖矩阵生成分数更新矩阵，包括：

将所述分数矩阵与预先设置有至少一行或至少一列掩盖位置的掩盖矩阵相加，生成分数更新矩阵。

3.根据权利要求2所述的文本分析模型的训练方法，其特征在于，所述训练样本包括至少一个样本语句，每一个所述样本语句对应一个所述分数矩阵，所述样本语句包括a个词单元，所述分数矩阵和所述掩盖矩阵均为b行b列的矩阵，其中，b≥a，且a和b均为正整数；

所述将所述分数矩阵与预先设置有至少一行或至少一列掩盖位置的掩盖矩阵相加，生成分数更新矩阵，包括：

将所述掩盖矩阵的第c行或第c列设置为掩盖位置，c≤a，且c为整数；

将所述分数矩阵与所述掩盖矩阵相加，生成分数更新矩阵以掩盖所述样本语句中的第c个词单元。

4.根据权利要求3所述的文本分析模型的训练方法，其特征在于，所述将所述掩盖矩阵的第c行或第c列设置为掩盖位置，包括：

将所述掩盖矩阵的第c行的值设置为负值，并将所述掩盖矩阵其他行的值设置为0或数值相同的正值；

或将所述掩盖矩阵的第c列的值设置为负值，并将所述掩盖矩阵其他列的值设置为0或数值相同的正值。

5.根据权利要求1所述的文本分析模型的训练方法，其特征在于，所述基于所述分数更新矩阵和所述线性矩阵进行自注意力处理，预测所述训练样本中掩盖的词单元，包括：

将所述分数更新矩阵进行归一化处理，获得预设候选词表中每个词单元作为训练样本掩盖位置处的词单元的概率分布；

基于所述概率分布与所述线性矩阵，获得预设获选词表中每个词单元作为训练样本掩盖位置处的词单元的概率值；

基于所述概率值预测所述训练样本中掩盖位置处的词单元。

6.根据权利要求1所述的文本分析模型的训练方法，其特征在于，所述基于预测结果与真实结果确定损失值，包括：

基于预测得到的所述掩盖位置处的词单元与所述训练样本中掩盖位置处的词单元计算交叉熵损失函数，生成损失值。

7.根据权利要求1所述的文本分析模型的训练方法，其特征在于，所述基于所述损失值对所述文本分析模型进行训练，包括：

判断所述损失值是否小于预设阈值；

若否，则获取训练样本并继续训练；

若是，则停止训练。

8.一种文本分析方法，其特征在于，包括：

获取待分析文本；

将所述待分析文本输入至文本分析模型中进行处理，生成文本分析结果；

其中，所述文本分析模型是通过权利要求1-7任意一项所述的训练方法训练得到的。