[发明专利]输入法长句预测模型的训练方法、装置、电子设备及介质

权利要求书

1.一种输入法长句预测模型的训练方法，包括：

获取多个第一样本文本；

根据预训练的教师模型对所述第一样本文本进行增强处理，得到多个第二样本文本；

根据所述教师模型生成初始化的学生模型；

根据所述多个第一样本文本和所述多个第二样本文本训练所述初始化的学生模型，以得到输入法长句预测模型；

其中，所述根据预训练的教师模型对所述第一样本文本进行增强处理，得到多个第二样本文本，包括：

对所述第一样本文本进行文本分段，得到顺序排列的多个文本段；

将第一文本段输入预训练的第一教师模型之中，得到所述第一教师模型输出的第一目标文本，所述第一文本段是排序在前的部分所述文本段；

将第二文本段输入预训练的第二教师模型之中，得到所述第二教师模型输出的第二目标文本，所述第二文本段是排序在后的部分所述文本段；

将所述第一目标文本和所述第二目标文本作为所述第二样本文本。

2.根据权利要求1所述的方法，其中，所述根据预训练的教师模型对所述第一样本文本进行增强处理，得到多个第二样本文本，包括：

对所述第一样本文本进行文本分段，得到顺序排列的多个文本段；

将所述多个文本段输入至预训练的教师模型之中，以得到所述教师模型输出的所述多个第二样本文本。

3.根据权利要求2所述的方法，其中，所述将所述多个文本段输入至预训练的教师模型之中，以得到所述教师模型输出的所述多个第二样本文本，包括：

将至少部分所述文本段依据排列顺序进行组合，得到至少一个文本段组合，所述文本段组合之中包括一个或者多个所述文本段；

将所述文本段组合之中的文本段输入至所述教师模型之中，以得到所述教师模型输出的所述多个第二样本文本。

4.根据权利要求1所述的方法，其中，所述根据所述多个第一样本文本和所述多个第二样本文本训练所述初始化的学生模型，以得到输入法长句预测模型，包括：

将所述多个第一样本文本和所述多个第二样本文本输入至所述初始化的学生模型之中，以得到所述学生模型输出的损失值；

如果所述损失值满足损失值阈值，则将训练得到的学生模型作为所述输入法长句预测模型。

5.一种输入法长句预测模型的训练装置，包括：

获取模块，用于获取多个第一样本文本；

处理模块，用于根据预训练的教师模型对所述第一样本文本进行增强处理，得到多个第二样本文本；

生成模块，用于根据所述教师模型生成初始化的学生模型；

训练模块，用于根据所述多个第一样本文本和所述多个第二样本文本训练所述初始化的学生模型，以得到输入法长句预测模型；

所述处理模块，具体用于：

对所述第一样本文本进行文本分段，得到顺序排列的多个文本段；

将第一文本段输入预训练的第一教师模型之中，得到所述第一教师模型输出的第一目标文本，所述第一文本段是排序在前的部分所述文本段；

将第二文本段输入预训练的第二教师模型之中，得到所述第二教师模型输出的第二目标文本，所述第二文本段是排序在后的部分所述文本段；

将所述第一目标文本和所述第二目标文本作为所述第二样本文本。

6.根据权利要求5所述的装置，其中，所述处理模块，包括：

分段子模块，用于对所述第一样本文本进行文本分段，得到顺序排列的多个文本段；

处理子模块，用于将所述多个文本段输入至预训练的教师模型之中，以得到所述教师模型输出的所述多个第二样本文本。

7.根据权利要求6所述的装置，其中，所述处理子模块，具体用于：

将至少部分所述文本段依据排列顺序进行组合，得到至少一个文本段组合，所述文本段组合之中包括一个或者多个所述文本段；

将所述文本段组合之中的文本段输入至所述教师模型之中，以得到所述教师模型输出的所述多个第二样本文本。