[发明专利]自然语言处理模型训练方法和自然语言处理模型

权利要求书

1.一种自然语言处理模型训练方法，所述自然语言处理语言模型包括输入层、隐藏层和输出层，所述隐藏层采用LSTM神经网络，所述方法包括：

将当前训练样本输入至所述输入层，以得到对应于所述当前训练样本的样本向量；

所述LSTM神经网络对所述样本向量进行处理，以得到对应于所述当前训练样本的隐藏层输出；

获取对应于所述当前训练样本的多个词义嵌入；

所述输出层根据所述隐藏层输出和所述多个词义嵌入确定对应于每一个词义嵌入的权重值；

根据所述多个词义嵌入和每一个词义嵌入的权重值确定对应于所述当前训练样本的消歧词嵌入；

通过对所述消歧词嵌入和所述当前训练样本的真实词义嵌入进行最小化交叉熵处理，以完成对所述自然语言处理模型的训练。

2.根据权利要求1所述的方法，其中，

所述多个词义嵌入表示为：

所述每一个词义嵌入的权重值：

3.根据权利要求2所述的方法，其中，

所述根据所述多个词义嵌入和每一个词义嵌入的权重值确定对应于所述当前训练样本的消歧词嵌入采用以下公式实现：

4.一种自然语言处理方法，采用权利要求1-3中任一项所述的方法训练得到的自然语言处理模型进行自然语言处理。

5.一种自然语言处理模型，包括：

输入层，配置为将当前待识别文本输入至所述输入层，以得到对应于所述当前待识别文本的文本向量；

隐藏层，所述隐藏层采用LSTM神经网络，配置为所述LSTM神经网络对所述文本向量进行处理，以得到对应于所述当前待识别文本的隐藏层输出；

输出层，获取对应于所述当前待识别文本的多个词义嵌入；根据所述隐藏层输出和所述多个词义嵌入确定对应于每一个词义嵌入的权重值；根据所述多个词义嵌入和每一个词义嵌入的权重值确定对应于所述当前待识别文本的消歧词嵌入。

6.根据权利要求5所述的模型，其中，

所述多个词义嵌入表示为：

所述每一个词义嵌入的权重值：

7.根据权利要求2所述的模型，其中，

所述根据所述多个词义嵌入和每一个词义嵌入的权重值确定对应于所述当前待识别文本的消歧词嵌入采用以下公式实现：

8.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任意一项所述方法的步骤。

9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4中任意一项所述方法的步骤。