[发明专利]一种语言模型建立方法及装置

说明书

本发明实施例提供一种语言模型建立方法及装置。所述方法包括获取语料库，语料库包括至少一个经过分词处理的句子；根据策略函数对所述语料库中的每个句子进行筛选，将满足预设筛选条件的句子组成分词词典；通过对分词词典中每个句子的分析得到语言模型；用语言模型对预先获取的声学模型进行解码以计算损失函数；若根据损失函数和预设的奖励函数得到的奖励值满足预设的优化条件，则判断所述语言模型建立完成，本发明实施例通过策略函数对获取的语料库进行筛选，然后将得到语言模型对声学模型进行解码得到CTC函数，再通过得到的奖励函数对策略函数进行优化改进，从而通过强化学习的方法快速得到需要的语言模型，且能够提高语音识别的准确率。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种语言模型建立方法及装置。

背景技术

语言模型是语音识别的重要组成部分，一个好的语言模型能够大大提升语音识别的准确度，如一个人说的“苹果”但语言模型里没有的话，模型是不能正常识别出该词汇的。如今流行的建立语言模型工具为Kenlm，它基于N-gram语言模型，采用C++编写。输入语料库为已经分好词的文本文件，输出为词的前后概率，即一个词出现在前后文情况下的概率。可以看出，若输入的分词文本文件越大，每个词在不同场景下出现的频次越高，语言模型的词典越大则最终获得的语言模型更好。

为了得到语言模型，需要好的分词技术，如今流行的分词技术框架都是基于人工标注的分词语料库，一般而言它的建立需经过以下几个步骤：1)网络收集的文本首先经过清洗、预处理等程序得到较为干净的文本文件。该文本文件需保证其领域适用性、词汇量等要求。2)该文件经过表现较好的分词软件进行分词，得到绝大部分词都已经分好的语料库。该分词软件通常使用如哈工大的分词器、结巴分词、斯坦福分词器等。3)由于分词软件得到的文本会带有一些错误尤其是领域不匹配或对方词典外的词。被错误分词的概率一般而言在5％左右。此时需要人手工从全文本中寻找并去修正这些错误。4)被修正后的文本会被再次的校对，检验其前后一致性等情况。

可以看出以上步骤非常依赖于人工并且非常耗时。与此同时由于需要多人参与，最终得到的词典依然面临着前后不一致、错误分词等情况，从而导致最终得到的语言模型不佳，语音识别准确率不高。

发明内容

本发明实施例提供一种语言模型建立方法及装置，用以解决现有技术中非常依赖于人工并且非常耗时。与此同时由于需要多人参与，最终得到的词典依然面临着前后不一致、错误分词等情况，从而导致最终得到的语言模型不佳，语音识别准确率不高。

第一方面，本发明实施例提供了一种语言模型的建立方法，包括：

获取语料库，所述语料库包括至少一个经过分词处理的句子；

根据策略函数对所述语料库中的每个句子进行筛选，将满足预设筛选条件的句子组成分词词典；

通过对所述分词词典中每个句子的分析得到语言模型；

用所述语言模型对预先获取的声学模型进行解码以计算损失函数；

若根据所述损失函数和预设的奖励函数得到的奖励值满足预设的优化条件，则判断所述语言模型建立完成。

第二方面，本发明实施例提供了一种语言模型的建立装置，包括：

获取模块，用于获取语料库，所述语料库包括至少一个经过分词处理的句子；

策略模块，用于根据策略函数对所述语料库中的每个句子进行筛选，将满足预设筛选条件的句子组成分词词典；

分析模块，用于通过对所述分词词典中每个句子的分析得到语言模型；

解码模块，用于用所述语言模型对预先获取的声学模型进行解码以计算损失函数；

奖励模块，用于若根据所述损失函数和预设的奖励函数得到的奖励值满足预设的优化条件，则判断所述语言模型建立完成。