[发明专利]一种语料扩展方法及装置

说明书

本发明提供了一种语料扩展方法及装置，所述方法包括：利用第一语料数据训练获得n‑gram语言模型以及神经网络语言模型；所述第一语料数据为稀疏语料数据；利用神经网络语言模型，预测所述第一语料数据中字或词之后的字词数据，并生成第二语料数据；将所述第二语料数据输入所述n‑gram语言模型，进行过滤后生成第三语料数据；将所述第三语料添加到所述第一语料数据，生成更新的第一语料数据。解决了稀疏语料在实际应用中，由于的必要词语缺失，而导致成句概率小，影响使用效果的问题。

技术领域

本发明涉及语言处理技术领域，包括一种语料扩展方法及装置。

背景技术

N-gram语言模型是现阶段语音识别中最为常用的一种语言模型，可以通过对分词后的文本进行统计计算获得。在自然语言处理中应用广泛，主要用途为计算某句话的成句概率。

但N-gram语言模型对训练数据量十分依赖，目前对N-gram语言模型的优化方式主要为添加更多的适配语料。

而语料稀疏是在训练语料中，由于语料有限，许多实际需要的词或组合可能不会出现。通常会造成路径的缺失，使得成句概率显著变小，显著影响n-gram模型的后续使用效果，若进行人工标注获得更多语料，对时间和人力消耗十分显著。

发明内容

有鉴于此，本发明旨在提出一种语料扩展方法及装置，以解决现有技术中由于稀疏语料在实际应用中，由于许多实际需要的词或组合可能不会出现，造成路径的缺失，使得成句概率显著变小，影响使用效果的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种语料扩展方法，该方法包括：利用第一语料数据训练获得n-gram语言模型以及神经网络语言模型；所述第一语料数据为稀疏语料数据；利用神经网络语言模型，预测所述第一语料数据中字或词之后的字词数据，并生成第二语料数据；将所述第二语料数据输入所述n-gram语言模型，进行过滤后生成第三语料数据；将所述第三语料添加到所述第一语料数据，生成更新的第一语料数据。解决了稀疏语料在实际应用中，由于的路径缺失，而导致成句概率小，影响使用效果的问题。

进一步的，还包括：若满足预设条件，则所述更新的第一语料数据停止更新；所述预设条件包括：使用所述更新的第一语料数据进行文本识别测试的准确率达到预设准确率阈值；使用所述更新的第一语料数据进行文本识别测试的时间超过预设时间阈值。

进一步的，将所述第二语料数据输入所述n-gram语言模型，进行过滤后生成第三语料数据的步骤，包括：将所述第二语料数据输入所述n-gram语言模型，生成文本数据；将所述文本数据进行排序，并根据所述排序结果选取预设比例的文本数据，生成第三语料数据。

进一步的，所述将所述文本数据进行排序，并根据所述排序结果选取预设比例的文本数据，生成第三语料数据的步骤，包括：根据所述文本数据的成句概率，对所述文本数据中的句子进行排序；根据句子所述排序结果，选取预设比例的句子，生成第三语料数据。

进一步的，所述利用神经网络语言模型，预测所述第一语料数据中字或词之后的文本数据，并生成第二语料数据的步骤，包括：将所述第一语料数据输入所述神经网络语言模型，预测得到所述第一语料数据中字或词之后的字词数据；根据所述预测的字词数据中各字词出现的概率，对所述预测字词数据进行排序；根据所述排序结果，选择第一顺位预测字词添加到所述第一语料数据中，生成第二语料数据。

本发明具有以下优势：本发明技术利于稀疏语料训练获得N-gram语言模型和神经网络语言模型，使用神经网络语言模型生成文本语料，并用N-gram语言模型对其进行筛选，将筛选后的语料作为训练样本增量训练N-gram语言模型，并在上述步骤的迭代过程中实现了扩展稀疏语料数据的效果，从而保证最终的扩展后稀疏语料数据在语言处理应用中，达到了完善稀疏语料成句路径，提高成句概率，改善稀疏语料实际应用效果的目的。