[发明专利]训练自然语言处理模型和自然语言处理的方法、电子设备

权利要求书

1.一种训练自然语言处理模型的方法，包括：

获取训练用的语料数据；

利用自然语言处理模型，对所述语料数据进行处理，得到输出信息，其中，所述自然语言处理模型包括第一模型和第二模型，所述第一模型用于对所述语料数据的拼音数据进行纠错，所述第二模型用于对纠错后的所述语料数据的拼音数据进行文字转换；

根据所述自然语言处理模型的输出信息，训练所述自然语言处理模型，得到训练后的自然语言处理模型。

2.根据权利要求1所述的方法，其中，根据所述自然语言处理模型的输出信息，训练所述自然语言处理模型，得到训练后的自然语言处理模型包括：

利用所述第一模型的模型预测值与真实标签值之间的差异，计算第一损失函数；

利用所述第二模型的模型预测值与真实标签值之间的差异，计算第二损失函数；

根据所述第一损失函数和所述第二损失函数，训练所述自然语言处理模型。

3.根据权利要求1所述的方法，利用自然语言处理模型，对所述语料数据进行处理，得到输出信息包括：

将所述语料数据转换成拼音数据；

针对所述语料数据的拼音数据，构建相似拼音集合；

对所述语料数据的拼音数据进行嵌入编码处理，得到嵌入向量数据；

利用所述第一模型，对所述嵌入向量数据进行处理，得到拼音纠错后的数据；

利用所述第二模型，对拼音纠错后的数据进行拼音到文字的转换。

4.根据权利要求3所述的方法，其中，对所述语料数据的拼音数据进行嵌入编码处理，得到嵌入向量数据包括：

对所述语料数据的拼音数据中的至少一个拼音进行随机掩蔽处理，得到随机掩蔽后的拼音数据；

对所述随机掩蔽后的拼音数据进行嵌入编码处理，得到嵌入向量数据。

5.根据权利要求4所述的方法，其中，对所述语料数据的拼音数据进行随机掩蔽包括：

随机确定要掩蔽的至少一个拼音；

对所述至少一个拼音进行随机掩蔽处理。

6.根据权利要求5所述的方法，其中，对所述至少一个拼音进行随机掩蔽处理包括：

所述至少一个拼音以第一概率被遮盖、以第二概率被替换为相似拼音、以第三概率被改变声调。

7.根据权利要求4所述的方法，其中，根据所述自然语言处理模型的输出信息，训练所述自然语言处理模型，得到训练后的自然语言处理模型包括：

针对被随机掩蔽处理的所述至少一个拼音，利用所述第一模型的模型预测值与真实标签值之间的差异，计算第一损失函数；

针对所述语料数据的拼音数据，利用所述第二模型的模型预测值与真实标签值之间的差异，计算第二损失函数；

根据所述第一损失函数和所述第二损失函数的加权和，训练所述自然语言处理模型。

8.根据权利要求7所述的方法，其中：

计算第一损失函数包括根据基于所述语料数据的拼音数据构建的原始数据字典的大小，利用交叉商损失函数计算所述第一损失函数；

计算第二损失函数包括根据基于所述语料数据构建的目标数据字典的大小，利用交叉商损失函数计算所述计算第二损失函数。

9.根据权利要求1-8任一项所述的方法，其中，所述第一模型包括N1个编码模块，所述第二模型包括N2个编码模块，所述第二模型除了包括所述第一模型的N1个编码模块外还包括额外的编码模块，其中N1、N2为大于1的正整数，N2＞N1，N1个编码模块为串联关系，N2个编码模块为串联关系。

10.根据权利要求9所述的方法，其中，所述第一模型还包括第一全连接层和第一激活函数层，所述第二模型还包括第二全连接层和第二激活函数层。

11.根据权利要求3所述的方法，其中，针对所述语料数据的拼音数据，构建相似拼音集合包括：

基于模糊音对应关系和编辑距离，构建相似拼音集合。