[发明专利]一种标点预测模型训练方法及文本标点确定方法

说明书

本发明提供了一种标点预测模型训练方法及文本标点确定方法，标点预测模型训练方法包括：(1)获取用于标点预测模型训练的分字文本训练集；(2)利用数据增强方法从训练集中生成训练样本；(3)获取训练好的标点预测模型。文本标点确定方法包括：(1)获取无标点的目标文本；(2)获取目标文本中每个文字后面的预测标点；(3)将预测标点插入目标文本中对应文字的后面，得到标点确定的文本。本发明所提供的标点预测模型训练方法和文本标点确定方法，可以优化标点预测模型的训练，让标点预测模型达到自身的最佳性能，从而提高标点预测结果的正确性。

技术领域

本发明涉及一种标点预测模型训练方法及文本标点确定方法，属于自然语言处理技术领域。

背景技术

标点预测通常用于为自动语音识别系统输出的文本添加标点符号，从而便于阅读和理解。

现有的标点预测都是用分词处理后的文本数据建立训练集，用固定的训练样本来训练标点预测模型；在预测阶段，先对文本进行分词，利用词向量特征为文本添加标点。但是，由于目前分词工具不能完全准确对文本进行分词，无法自动构建大规模高质量的分词训练数据集，并且使用固定的训练样本来训练模型，这两点导致标点预测模型难以达到自身的最佳性能；在预测阶段，分词结果的不准确也降低了标点预测结果的准确性。因此，如何训练标点预测模型使之达到自身的最佳性能，以及如何确定文本标点是一项有意义的工作。

发明内容

为解决上述技术问题，本发明提供了一种标点预测模型训练方法及文本标点确定方法，该标点预测模型训练方法及文本标点确定方法可以提升标点预测模型的性能，提高标点预测的正确性。

本发明通过以下技术方案得以实现。

本发明提供的一种标点预测模型训练方法，包括以下步骤：

(1)获取用于标点预测模型训练的分字文本训练集；

(2)利用数据增强方法从分字文本训练集中生成训练样本；

(3)输入标点预测模型，通过训练样本，获取训练好的标点预测模型。

所述步骤(1)，分为以下步骤：

(1.1)获取原始训练文本语料，对原始训练文本语料进行预处理，获取预处理后的训练文本语料；

(1.2)对预处理后的训练文本语料进行分字处理，获取分字后的训练文本语料；

(1.3)对分字后的训练文本语料中的每个文字的标签类型进行标注，获取训练目标标签集合；

(1.4)获取训练目标标签集合中各个标签的权重值；

(1.5)去掉分字后的训练文本语料中的标点，并与训练目标标签集合组成分字文本训练集。

所述步骤(1.4)，分为以下步骤：

(1.4.1)获取步骤(1.3)中，训练目标标签集合中各个标签的数量；

(1.4.2)将训练目标标签集合中标签‘0’的数量与各个标签数量的比值作为各个标签的权重值。

所述标签‘0’表示，在步骤(1.2)中，分字后的训练文本语料中的文字的后面不是标点；

所述步骤(2)，分为以下步骤：

(2.1)每次生成训练样本时，在1到500内产生一个随机整数作为训练样本的最少字数；

(2.2)获取步骤(1)中分字文本训练集的一个完整句子作为种子句子，将种子句子的下一个句子拼接到种子句子的后面，作为新的种子句子，直到新的种子句子的文字数量不小于步骤(2.1)中的最少字数，获取最终的种子句子；