[发明专利]一种文本处理方法、模型及存储介质

权利要求书

1.一种文本处理方法，其特征在于：包括以下步骤：

S1：将自然语言文本转变为字向量；

S2：将一定长度的代表自然语言语句的由字向量组成的向量输入进预训练语言模型中，得到输出向量；

S3：抽取输出向量中的[cls]向量，对[cls]向量进行聚合操作；

S4：将聚合后的输出向量加入特征提取模型中，提取高维度特征，得出特征向量；

S5：将特征向量加入分类模型中，得出文本的分类结果。

2.根据权利要求1所述的一种文本处理方法，其特征在于：所述聚合操作为最大池化、平均池化中的一种或者多种。

3.根据权利要求1-2任一所述的一种文本处理方法，其特征在于：所述预训练语言模型中包括多个Transformer结构。

4.根据权利要求3所述的一种文本处理方法，其特征在于：所述预训练语言模型为BERT模型，所述提取模型为全连接神经网络模型，所述分类模型为softmax模型。

5.根据权利要求4所述的一种文本处理方法，其特征在于：所述S4包括以下步骤：

S41：对全连接神经网络模型进行Dropout处理，使某些全连接神经网络随机失活；

S42：将聚合后的输出向量加入全连接神经网络模型中，提取高维度特征，得出特征向量。

6.根据权利要求1-2任一所述的一种文本处理方法，其特征在于：所述步骤S2包括以下步骤：

S21：将一定长度的代表自然语言语句的由字向量组成的向量输入进预训练语言模型中，得到输出向量；

S22：使用迁移学习原理根据训练数据集对预训练语言模型进行调整。

7.根据权利要求6任一所述的一种文本处理方法，其特征在于：所述步骤S21包括以下步骤：

S21-1：给Transformer的解码器一个start符号，将句中随机某个字向量转换为[mask]；

S21-2：将字向量依次输入进编码器，编码器输出一个隐藏层，解码器结合这个隐藏层依然对应的字向量，直到解码器遇到一个end字符；

S21-3：取出连续的两个语句，在两个连续的语句之间加一些特殊的字向量；

S21-4：取出同样格式的但是不连续的两个语句，使两个语句连续与两个语句不连续的情况占相同的比例，给上句全0的字向量，给下句全1的字向量；

S21-5：将语句维度分成三个矩阵为Q、K、V，使用自注意力机制公式计算出注意力矩阵，使用注意力矩阵给V加权，得出Attention(Q,K,V)，使得每个字向量都含有语句中每个字向量的信息；

S21-6：提取语句中的[cls]字向量，预测两个语句是否属于上下文，得出输出向量。

8.根据权利要求7所述的一种文本处理方法，其特征在于：使用Mini Batch方式计算自注意力。

9.一种文本处理模型，其特征在于：包括字向量层、训练层、聚合层、特征提取层和分类层：

所述字向量层用于初始化每个字的字向量，并确定字向量维度；

所述训练层用于将每个字向量放入预训练语言模型中，得出输出向量；

所述聚合层用于：抽取输出向量中的[cls]向量，对[cls]向量进行聚合操作；

所述特征提取层用于：将聚合后的输出向量加入特征提取模型中，提取高维度特征，得出特征向量；

所述分类层用于将特征向量加入分类模型中，得出文本的分类结果。

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质上存储有计算机程序，所述计算机程序被执行时实现如权利要求1-8任一项所述的一种文本处理方法。