[发明专利]文本处理方法、深度学习模型训练方法、装置以及设备

权利要求书

1.一种文本处理方法，包括：

获取输入文本；

获取目标深度学习模型；

通过所述目标深度学习模型处理所述输入文本，得到目标文本信息；

其中，所述目标深度学习模型是根据以下操作得到的：

针对全量的训练批次中的任意一个训练批次以及初始深度学习模型的任意一个目标网络层，根据与所述训练批次关联的初始训练样本集，确定目标训练样本集，其中，所述目标训练样本集的目标训练样本的数量小于所述初始训练样本集的初始训练样本的数量；

将所述目标训练样本集的所述目标训练样本输入所述目标网络层，得到目标网络层输出数据；

根据目标损失函数和所述目标网络层输出数据，确定当前训练批次的训练反馈数值，所述训练反馈数值用于调整所述目标网络层的网络参数；以及

在所述全量的训练批次对所述初始深度学习模型训练完成的情况下，根据每一个所述目标网络层的当前网络参数，确定目标深度学习模型，其中，所述初始深度学习模型包括自然语言处理预训练深度学习模型。

2.一种深度学习模型训练方法，包括：

针对全量的训练批次中的任意一个训练批次以及初始深度学习模型的任意一个目标网络层，根据与所述训练批次关联的初始训练样本集，确定目标训练样本集，其中，所述目标训练样本集的目标训练样本的数量小于所述初始训练样本集的初始训练样本的数量；

将所述目标训练样本集的所述目标训练样本输入所述目标网络层，得到目标网络层输出数据；

根据目标损失函数和所述目标网络层输出数据，确定当前训练批次的训练反馈数值，所述训练反馈数值用于调整所述目标网络层的网络参数；以及

在所述全量的训练批次对所述初始深度学习模型训练完成的情况下，根据每一个所述目标网络层的当前网络参数，确定目标深度学习模型，其中，所述初始深度学习模型包括自然语言处理预训练深度学习模型。

3.根据权利要求2所述的方法，还包括：

根据所述初始深度学习模型的全量的网络层，确定所述目标网络层，其中，全量的所述网络层的数量大于或者等于所述目标网络层的数量。

4.根据权利要求3所述的方法，其中，所述根据与所述训练批次关联的初始训练样本集，确定目标训练样本集包括：

根据样本屏蔽条件和所述初始训练样本集的多个初始训练样本，确定满足所述样本屏蔽条件的屏蔽样本；以及

根据所述屏蔽样本和所述初始训练样本集，确定所述目标训练样本集。

5.根据权利要求4所述的方法，在全量的所述网络层的数量大于所述目标网络层的数量的情况下，根据所述初始深度学习模型的全量的网络层，确定所述目标网络层包括：

根据网络层屏蔽条件和所述初始深度学习模型的全量的所述网络层，确定满足所述网络层屏蔽条件的屏蔽网络层；

根据所述屏蔽网络层和所述初始深度学习模型的全量的所述网络层，确定所述目标网络层。

6.根据权利要求5所述的方法，其中，所述样本屏蔽条件表征所述初始训练样本的屏蔽概率小于样本屏蔽概率阈值；所述网络层屏蔽条件表征所述网络层的屏蔽概率小于网络层屏蔽概率阈值；所述初始训练样本的屏蔽概率以及所述网络层的屏蔽概率中的至少一个与保留概率阈值、所述初始深度学习模型的训练总步长、当前训练步数以及全量的网络层的数量相关。

7.根据权利要求2-6中任一项所述的方法，其中，每一个所述目标网络层的结构相同，所述目标损失函数与多个所述目标网络层的输出数据相关。