[发明专利]文本处理模型的训练方法、文本处理方法及装置

权利要求书

1.一种文本处理模型的训练方法，其特征在于，包括：

获取训练文本；

将所述训练文本分别输入老师模型与学生模型，得到所述老师模型输出的样本数据与所述学生模型输出的预测数据，其中，所述老师模型与所述学生模型分别包括输入层、一个或者多个中间层以及输出层，所述样本数据包括所述老师模型的中间层输出的样本语义特征以及所述老师模型的输出层输出的样本标签，所述预测数据包括所述学生模型的中间层输出的预测语义特征以及所述学生模型的输出层输出的预测标签，所述老师模型为预先训练的用于文本处理的模型；

基于所述样本数据以及所述预测数据训练所述学生模型的模型参数，得到目标学生模型。

2.如权利要求1所述的训练方法，其特征在于，所述基于所述样本数据以及所述预测数据训练所述学生模型的模型参数，包括：

基于所述样本语义特征与所述预测语义特征，训练所述学生模型的中间层；

基于所述样本标签与所述预测标签，训练所述学生模型的输出层。

3.如权利要求1或2所述的训练方法，其特征在于，所述老师模型与所述学生模型为转换器Transformer模型，所述老师模型的中间层包含N个Transformer层，所述学生模型的中间层包含M个Transformer层，N为大于或等于M的正整数，所述基于所述样本语义特征与所述预测语义特征，训练所述学生模型的中间层，包括：

从所述老师模型包含的N个Transformer层中选择M个Transformer层，所述M个Transformer层中每一个Transformer层包含注意力机制模块和前向网络模块；

基于所述老师模型中M个Transformer层的第i个Transformer层输出的样本语义特征以及所述老师模型的第i个Transformer层包含的所述注意力机制模块中的注意力分数矩阵训练所述学生模型的第i个Transformer层，i为小于或等于M的正整数，M为大于或等于1的整数。

4.如权利要求1至3中任一项所述的训练方法，其特征在于，所述训练文本为增强文本集，还包括：

对获取的原始文本集进行局部词语替换，得到替换文本集；

基于所述原始文本集与所述替换文本集，得到所述增强文本集，所述增强文本集中的每一个训练文本包含标签信息，所述标签信息包括指示所述训练文本的分类结果的信息，或者序列标注信息，或者文本翻译标签信息中的任意一项，所述分类结果包括所述训练文本的情感分类结果，或者所述训练文本的语义意图分类结果。

5.如权利要求4所示的训练方法，其特征在于，所述对获取的原始文本集进行局部词语替换，得到替换文本集，包括：

获取第一文本，所述第一文本为所述原始文本集合中的任意一个文本；

根据所述第一文本中每个词的替换阈值，确定所述第一文本中词语的替换位置；

对所述替换位置的一个词或者多个词进行掩盖，生成掩盖文本；

将所述掩盖文本输入至预先训练的语言模型，得到所述第一文本的替换文本。

6.如权利要求5所示的训练方法，其特征在于，所述将所述掩盖文本输入至预先训练的语言模型，得到所述第一文本的替换文本，包括：

将所述掩盖文本输入预先训练的语言模型，通过贪婪算法和/或集束搜索算法得到所述第一文本的替换文本。

7.如权利要求1至6中任一项所述的训练方法，其特征在于，所述训练文本包含标签信息，所述老师模型是通过初始老师模型与所述训练文本训练得到的，在获取所述训练文本之前，还包括：

获取初始训练文本，所述初始训练文本不包含标签信息；

将所述初始训练文本分别输入所述初始老师模型与初始学生模型，得到所述初始老师模型的中间层输出的初始样本语义特征与所述初始学生模型的中间层输出的初始预测语义特征；

基于所述初始样本语义特征与所述初始预测语义特征训练所述初始学生模型的模型参数，得到所述学生模型。