[发明专利]一种语料扩展方法及装置

权利要求书

1.一种语料扩展方法，其特征在于，所述方法包括：

获取第一语料数据；所述第一语料数据为稀疏语料数据；

将所述第一语料数据进行预处理获得以词组为单位的语料数据，所述预处理包括分词过程；

利用经过预处理的所述第一语料数据训练获得n-gram语言模型以及神经网络语言模型；

利用神经网络语言模型，预测所述第一语料数据中字或词之后的字词数据，并生成第二语料数据；

将所述第二语料数据输入所述n-gram语言模型，进行过滤后生成第三语料数据；

将所述第三语料添加到所述第一语料数据，生成更新的第一语料数据；

其中，将所述第二语料数据输入所述n-gram语言模型，进行过滤后生成第三语料数据的步骤，包括：

将所述第二语料数据输入所述n-gram语言模型，生成文本数据；

将所述文本数据进行排序，并根据排序结果选取预设比例的文本数据，生成第三语料数据；

所述将所述文本数据进行排序，并根据所述排序结果选取预设比例的文本数据，生成第三语料数据的步骤，包括：

根据所述文本数据的成句概率，对所述文本数据中的句子进行排序；

根据句子排序结果，选取预设比例的句子，生成第三语料数据。

2.根据权利要求1所述的语料扩展方法，其特征在于，还包括：

若满足预设条件，则所述更新的第一语料数据停止更新；所述预设条件包括：使用所述更新的第一语料数据进行文本识别测试的准确率达到预设准确率阈值；使用所述更新的第一语料数据进行文本识别测试的时间超过预设时间阈值。

3.根据权利要求1所述的语料扩展方法，其特征在于，所述利用神经网络语言模型，预测所述第一语料数据中字或词之后的文本数据，并生成第二语料数据的步骤，包括：

将所述第一语料数据输入所述神经网络语言模型，预测得到所述第一语料数据中字或词之后的字词数据；

根据预测字词数据中各字词出现的概率，对所述预测字词数据进行排序；

根据排序结果，选择第一顺位预测字词添加到所述第一语料数据中，生成第二语料数据。

4.一种语料扩展装置，其特征在于，所述装置包括：

语言模型训练模块，用于获取第一语料数据，所述第一语料数据为稀疏语料数据，将所述第一语料数据进行预处理获得以词组为单位的语料数据，所述预处理包括分词过程；利用经过预处理的第一语料数据训练获得n-gram语言模型以及神经网络语言模型；

第二语料数据生成模块，用于利用神经网络语言模型，预测所述第一语料数据中字或词之后的字词数据，并生成第二语料数据；

第三语料数据生成模块，用于将所述第二语料数据输入所述n-gram语言模型，进行过滤后生成第三语料数据；

第一语料数据更新模块，用于将所述第三语料添加到所述第一语料数据，生成更新的第一语料数据；

其中，所述第三语料数据生成模块，包括：

文本数据生成子模块，用于将所述第二语料数据输入所述n-gram语言模型，生成文本数据；

第三语料数据生成子模块，用于将所述文本数据进行排序，并根据排序结果选取预设比例的文本数据，生成第三语料数据；

所述第三语料数据生成子模块，包括：

排序单元，用于根据所述文本数据的成句概率，对所述文本数据中的句子进行排序；

第三语料数据生成单元，用于根据句子排序结果，选取预设比例的句子，生成第三语料数据。

5.根据权利要求4所述的语料扩展装置，其特征在于，还包括：

停止更新模块，用于若满足预设条件，则所述更新的第一语料数据停止更新；所述预设条件包括：使用所述更新的第一语料数据进行文本识别测试的准确率达到预设准确率阈值；使用所述更新的第一语料数据进行文本识别测试的时间超过预设时间阈值。

6.根据权利要求4所述的语料扩展装置，其特征在于，所述第二语料数据生成模块，包括：

预测子模块，用于将所述第一语料数据输入所述神经网络语言模型，预测得到所述第一语料数据中字或词之后的字词数据；

字词排序子模块，用于根据预测字词数据中各字词出现的概率，对所述预测字词数据进行排序；

第二语料数据生成子模块，用于根据排序结果，选择第一顺位预测字词添加到所述第一语料数据中，生成第二语料数据。