[发明专利]模型训练方法和装置

权利要求书

1.一种模型训练方法，其特征在于，包括：

利用第一变换双向编码器表征BERT模型对输入的训练样本进行处理，并输出多个任务的预测结果，其中，所述训练样本包括文字位置乱序的句子；

根据所述多个任务的预测结果，计算模型损失值，包括：利用第一任务对应的文字位置是否乱序的预测结果，通过文字乱序损失函数计算第一损失值；或，利用第二任务对应的文字位置重排序的预测结果，通过重排序损失函数计算第二损失值；或，利用第三任务对应的句子关系预测结果，通过句子关系损失函数计算第三损失值，所述模型损失值通过多个损失函数的损失值得出；

根据计算的模型损失值，对所述第一BERT模型进行调整优化，以得到第二BERT模型。

2.根据权利要求1所述的方法，其特征在于，获取文字位置是否乱序的预测结果，包括：

通过所述第一BERT模型的最后一个变换Transformer结构，得到第一特征向量；

将所述第一特征向量输入第一全连接层，得到所述文字位置是否乱序的预测结果。

3.根据权利要求1所述的方法，其特征在于，获取文字位置重排序的预测结果，包括：

通过所述第一BERT模型的最后一个Transformer结构，得到第二特征向量；

将所述第二特征向量输入第二全连接层，得到所述文字位置重排序的预测结果。

4.一种模型训练装置，其特征在于，包括：

输出模块，用于利用第一变换双向编码器表征BERT模型对输入的训练样本进行处理，并输出多个任务的预测结果，其中，所述训练样本包括文字位置乱序的句子；

计算模块，用于根据所述多个任务的预测结果，计算模型损失值，进一步用于：利用第一任务对应的文字位置是否乱序的预测结果，通过文字乱序损失函数计算第一损失值；或，利用第二任务对应的文字位置重排序的预测结果，通过重排序损失函数计算第二损失值；或，利用第三任务对应的句子关系预测结果，通过句子关系损失函数计算第三损失值，所述模型损失值通过多个损失函数的损失值得出；

优化模块，用于根据计算的模型损失值，对所述第一BERT模型进行调整优化，以得到第二BERT模型。

5.一种模型训练终端，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至3中任一项所述方法。

6.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至3中任一项所述方法。