[发明专利]文本分词模型的训练方法、分词处理方法及装置、介质

权利要求书

1.一种文本分词模型的训练方法，其特征在于，所述文本分词模型包括特征提取器、分词分类器、声调分类器，所述训练方法包括：

获取训练文本，所述训练文本中的每个字标注有第一分词标签以及第一声调标签；

将所述训练文本输入所述特征提取器，提取所述训练文本的特征信息；

将所述训练文本的特征信息分别输入所述分词分类器和所述声调分类器；

根据所述分词分类器的输出结果确定分词输出误差信息，根据所述声调分类器的输出结果确定声调输出误差信息；

根据所述分词输出误差信息和声调输出误差信息，调整所述文本分词模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述分词分类器的输出结果确定分词输出误差信息，包括：

所述分词分类器输出所述训练文本中每个字的第二分词标签，将所述训练文本中每个字的第二分词标签分别与所述字的第一分词标签进行对比，确定所述分词输出误差信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述声调分类器的输出结果确定声调输出误差信息，包括：

所述声调分类器输出所述训练文本中每个字的第二声调标签，将所述训练文本中每个字的第二声调标签分别与所述字的第一声调标签进行对比，确定所述声调输出误差信息。

4.根据权利要求1所述的方法，其特征在于，所述根据所述分词输出误差信息和声调输出误差信息，调整所述文本分词模型，包括：

根据所述分词输出误差信息和声调输出误差信息，分别调整所述分词分类器和所述声调分类器。

5.根据权利要求4所述的方法，其特征在于，所述方法，还包括：

分别调整所述分词分类器和所述声调分类器后，将所述训练文本的特征信息分别输入调整后的分词分类器以及声调分类器；

根据调整后的分词分类器以及声调分类器的输出结果，再次确定分词输出误差信息和声调输出误差信息；

根据再次确定的分词输出误差信息和声调输出误差信息，调整所述特征提取器。

6.根据权利要求5所述的方法，其特征在于，所述根据再次确定的分词输出误差信息和声调输出误差信息，调整所述特征提取器，包括：

根据再次确定的分词输出误差信息和声调输出误差信息，按照预设方式生成用于调整所述特征提取器的合成误差信息；

根据所述合成误差信息，调整所述特征提取器；

其中，所述预设方式包括如下任一种：

计算所述分词输出误差信息和声调输出误差信息的简单平均值，将所述简单平均值确定为所述合成误差信息；

根据所述分词输出误差信息对应的权重信息，和所述声调输出误差信息对应的权重信息，计算所述分词输出误差信息和所述声调输出误差信息的加权平均值，将所述权重平均值确定为所述合成误差信息，其中，所述分词输出误差信息对应的权重信息表征，分词特征在特征提取器的特征提取能力中的比重，所述声调输出误差信息对应的权重信息表征，声调特征对特征提取器的特征提取能力中的比重。

7.根据权利要求1所述的方法，其特征在于，所述声调标签包括一声、二声、三声、四声和轻声。

8.一种文本分词模型实现分词处理的方法，其特征在于，所述文本分词模型包括特征提取器和分词分类器，其中，所述特征提取器和分词分类器，是通过如权利要求1至7任一项所述的文本分词模型的训练方法得到的，所述分词处理的方法包括：

将待处理的文本输入所述特征提取器中，提取所述文本的特征信息；

将所述文本的特征信息输入所述分词分类器中，得到所述文本中每个字的分词处理结果。