[发明专利]一种基于神经网络的中文分词模型的训练方法

权利要求书

1.一种基于神经网络的中文分词模型的训练方法，其特征在于，包括：

获取多种分词规范的训练语料，其中，所述训练语料包括文本句以及与所述文本句对应的标签序列；

根据所述文本句中多个字的嵌入向量以及语料特征向量，得到各个字的向量表示，其中，所述语料特征向量用于表明所述文本句为何种分词规范的训练语料；

将所述文本句中各个字的向量表示输入预先创建的中文分词模型，预测得到所述文本句的标签序列；

根据预测得到的标签序列以及在训练语料中与所述文本句对应的标签序列，对所述中文分词模型的模型参数进行调整，在达到预设条件时完成训练；

所述将所述文本句中各个字的向量表示输入预先创建的中文分词模型，预测得到所述文本句的标签序列，包括：

将所述文本句中各个字的向量表示输入预先创建的BiLSTM-CRF模型，预测得到所述文本句的标签序列；

所述将所述文本句中各个字的向量表示输入预先创建的BiLSTM-CRF模型，预测得到所述文本句的标签序列，包括：

将所述文本句中各个字的向量表示输入BiLSTM单元，得到各个字在所述文本句中的上下文特征；

将所述文本句中各个字的上下文特征输入MLP单元，得到各个字对应各个分词标签的得分；

将所述文本句中各个字对应各个分词标签的得分输入CRF单元，预测得到所述文本句的标签序列。

2.权利要求1所述的方法，其特征在于，在所述根据预测得到的标签序列以及在训练语料中与所述文本句对应的标签序列，对所述中文分词模型的模型参数进行调整，在达到预设条件时完成训练之后，还包括：

获取待分词的目标文本句以及为所述目标文本句指定的目标分词规范；

确定所述目标文本句中多个字的嵌入向量，并确定与所述目标分词规范对应的语料特征向量；

根据所述目标文本句中各个字的嵌入向量以及所述语料特征向量，得到各个字的向量表示；

将所述目标文本句中各个字的向量表示输入训练完成的中文分词模型，得到按照所述目标分词规范进行分词的分词结果。

3.如权利要求1或2所述的方法，其特征在于，所述根据所述文本句中多个字的嵌入向量以及语料特征向量，得到各个字的向量表示，包括：

根据所述文本句中多个字的单元嵌入向量、双元嵌入向量、以及语料特征向量，得到各个字的向量表示。

4.一种基于神经网络的中文分词模型的训练装置，其特征在于，包括：

训练语料获取模块：用于获取多种分词规范的训练语料，其中，所述训练语料包括文本句以及与所述文本句对应的标签序列；

向量表示确定模块：用于根据所述文本句中多个字的嵌入向量以及语料特征向量，得到各个字的向量表示，其中，所述语料特征向量用于表明所述文本句为何种分词规范的训练语料；

预测模块：用于将所述文本句中各个字的向量表示输入预先创建的中文分词模型，预测得到所述文本句的标签序列；

调整模块：用于根据预测得到的标签序列以及在训练语料中与所述文本句对应的标签序列，对所述中文分词模型的模型参数进行调整，在达到预设条件时完成训练；

所述预测模块具体用于将所述文本句中各个字的向量表示输入预先创建的BiLSTM-CRF模型，预测得到所述文本句的标签序列；

所述将所述文本句中各个字的向量表示输入预先创建的BiLSTM-CRF模型，预测得到所述文本句的标签序列，包括：

将所述文本句中各个字的向量表示输入BiLSTM单元，得到各个字在所述文本句中的上下文特征；

将所述文本句中各个字的上下文特征输入MLP单元，得到各个字对应各个分词标签的得分；

将所述文本句中各个字对应各个分词标签的得分输入CRF单元，预测得到所述文本句的标签序列。

5.一种基于神经网络的中文分词模型的训练设备，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序以实现如权利要求1-3任意一项所述的一种基于神经网络的中文分词模型的训练方法的步骤。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-3任意一项所述的一种基于神经网络的中文分词模型的训练方法的步骤。