[发明专利]模型训练方法和装置

说明书

本发明实施例提出一种模型训练方法和装置，方法包括：利用第一BERT模型对输入的训练样本进行处理，并输出多个任务的预测结果，其中，训练样本包括文字位置乱序的句子；根据多个任务的预测结果，计算模型损失值，模型损失值通过多个损失函数的损失值得出；根据计算的模型损失值，对第一BERT模型进行调整优化，以得到第二BERT模型。本发明实施例输入的训练样本由于是字词位置乱序的句子，因此在BERT模型训练时，每次都能训练句子中的所有字词，从而有效提升了模型收敛速度，减少了模型训练时间。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种模型训练方法和装置。

背景技术

在现有的BERT(Bidirectional Encoder Representations from Transformers，变换的双向编码器表示)模型训练过程中，模型的训练任务包括预测句子关系的任务和预测句子中被遮蔽词的任务。其中，预测句子中被遮蔽词的具体方式为：随机将句子中的字或者词替换成一个遮蔽替代符，并且要求模型预测出被遮蔽的词是什么，这种方式可以使模型学会根据周围字词信息推断出被遮蔽掉的字词是什么，进而获取建模字词的能力。

但是缺点也很明显，输入的句子中被遮蔽掉的字词不能太多，如果比例过高，会导致句子缺失的信息太多，无法预测出被遮蔽掉的字词。现有的BERT模型使用了15％的字词遮蔽率可以训练出不错的语义表示模型，但是同时也导致每次只有15％的字词得到训练，进而减慢了模型收敛速度。

发明内容

本发明实施例提供一种模型训练方法和装置，以解决现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种模型训练方法，包括：

利用第一变换双向编码器表征BERT模型对输入的训练样本进行处理，并输出多个任务的预测结果，其中，所述训练样本包括文字位置乱序的句子；

根据所述多个任务的预测结果，计算模型损失值，所述模型损失值通过多个损失函数的损失值得出；

根据计算的模型损失值，对所述第一BERT模型进行调整优化，以得到第二BERT模型。

在一种实施方式中，根据所述多个任务的预测结果，计算模型损失值，包括：

利用第一任务对应的文字位置是否乱序的预测结果，通过文字乱序损失函数计算第一损失值。

在一种实施方式中，根据所述多个任务的预测结果，计算模型损失值，还包括：

利用第二任务对应的文字位置重排序的预测结果，通过重排序损失函数计算第二损失值。

在一种实施方式中，根据所述多个任务的预测结果，计算模型损失值，还包括：

利用第三任务对应的句子关系预测结果，通过句子关系损失函数计算第三损失值。

在一种实施方式中，获取文字位置是否乱序的预测结果，包括：

通过所述第一BERT模型的最后一个变换Transformer结构，得到第一特征向量；

将所述第一特征向量输入第一全连接层，得到所述文字位置是否乱序的预测结果。

在一种实施方式中，获取文字位置重排序的预测结果，包括：

通过所述第一BERT模型的最后一个Transformer结构，得到第二特征向量；

将所述第二特征向量输入第二全连接层，得到所述文字位置重排序的预测结果。

第二方面，本发明实施例提供了一种模型训练装置，包括：