[发明专利]一种Seq2Seq模型训练方法、装置、介质和设备

权利要求书

1.一种句子到句子模型训练方法，其特征在于，所述方法包括：

接收输入的训练样本集，所述训练样本集中的每个纠错文本对包括一个正确文本和一个错误文本；

利用所述训练样本集对预先建立的句子到句子模型进行一轮迭代训练；

一轮迭代训练过程中，根据每次迭代训练过程中确定的损失函数调整预先建立的句子到句子模型，直至一轮迭代训练完成，其中，确定所述损失函数时，用于训练的错误文本中错误位置对应的误差的比重，大于该错误文本中正确位置对应的误差的比重，每个位置对应的误差，为针对该错误文本，句子到句子模型输出的目标文本相对于该错误文本对应的正确文本得到的每个位置的误差；

其中，确定所述损失函数，包括：

对错误文本和对应的正确文本进行比对，确定错误文本中的错误位置；

根据错误文本中的错误位置，确定文本标识向量，所述文本标识向量中错误文本中的正确位置用0表示，错误文本中的错误位置用1表示；

确定文本标识向量与设定的误差系数的乘积，获得误差权重向量，其中，所述误差系数大于1；

确定误差权重向量与单位向量之和，获得修正权重向量；

对修正权重向量以及句子到句子模型输出的目标文本每个位置对应的误差值进行矩阵乘法，确定目标文本每个位置对应的带权误差值；

确定目标文本每个位置对应的带权误差值的平均值，将确定出的该平均值作为确定出的损失函数。

2.如权利要求1所述的方法，其特征在于，一轮迭代训练完成之后，若利用验证样本集确定训练出的句子到句子模型进行文本纠错的准确率低于设定值，所述方法还包括：

更新所述训练样本集中至少一个错误文本的错误形式，利用更新后的训练样本集对训练出的句子到句子模型进行下一轮迭代训练，直至利用验证样本集确定训练出的句子到句子模型进行文本纠错的准确率不低于设定值。

3.如权利要求1～2任一所述的方法，其特征在于，在一轮迭代训练的每次迭代训练过程中，句子到句子模型的编码器采用双向循环的神经网络模型，通过上下文信息进行文本纠错。

4.一种句子到句子模型训练装置，其特征在于，所述装置包括：

接收模块，用于接收输入的训练样本集，所述训练样本集中的每个纠错文本对包括一个正确文本和一个错误文本；

训练模块，用于利用所述训练样本集对预先建立的句子到句子模型进行一轮迭代训练；一轮迭代训练过程中，根据每次迭代训练过程中确定的损失函数调整预先建立的句子到句子模型，直至一轮迭代训练完成，其中，确定所述损失函数时，用于训练的错误文本中错误位置对应的误差的比重，大于该错误文本中正确位置对应的误差的比重，每个位置对应的误差，为针对该错误文本，句子到句子模型输出的目标文本相对于该错误文本对应的正确文本得到的每个位置的误差；

其中，所述训练模块，确定所述损失函数，包括：

对错误文本和对应的正确文本进行比对，确定错误文本中的错误位置；

根据错误文本中的错误位置，确定文本标识向量，所述文本标识向量中错误文本中的正确位置用0表示，错误文本中的错误位置用1表示；

确定文本标识向量与设定的误差系数的乘积，获得误差权重向量，其中，所述误差系数大于1；

确定误差权重向量与单位向量之和，获得修正权重向量；

对修正权重向量以及句子到句子模型输出的目标文本每个位置对应的误差值进行矩阵乘法，确定目标文本每个位置对应的带权误差值；

确定目标文本每个位置对应的带权误差值的平均值，将确定出的该平均值作为确定出的损失函数。

5.如权利要求4所述的装置，其特征在于，所述训练模块，还用于一轮迭代训练完成之后，若利用验证样本集确定训练出的句子到句子模型进行文本纠错的准确率低于设定值，更新所述训练样本集中至少一个错误文本的错误形式，利用更新后的训练样本集对训练出的句子到句子模型进行下一轮迭代训练，直至利用验证样本集确定训练出的句子到句子模型进行文本纠错的准确率不低于设定值。

6.如权利要求4～5任一所述的装置，其特征在于，所述训练模块，具体用于在一轮迭代训练的每次迭代训练过程中，句子到句子模型的编码器采用双向循环的神经网络模型，通过上下文信息进行文本纠错。