[发明专利]一种语言模型建立方法及装置

权利要求书

1.一种语言模型的建立方法，其特征在于，包括：

获取语料库，所述语料库包括至少一个经过分词处理的句子；

根据策略函数对所述语料库中的每个句子进行筛选，将满足预设筛选条件的句子组成分词词典；

通过对所述分词词典中每个句子的分析得到语言模型；

用所述语言模型对预先获取的声学模型进行解码以计算损失函数；

若根据所述损失函数和预设的奖励函数得到的奖励值满足预设的优化条件，则判断所述语言模型建立完成；

所述方法还包括：

若所述奖励值不满足预设的优化条件，则判断所述语言模型没有完成；

采用策略梯度算法根据所述奖励函数对所述策略函数进行修正以得到新的策略函数，以使所述新的策略函数对所述语料库中每个句子重新进行筛选。

2.根据权利要求1所述的方法，其特征在于，所述根据策略函数对所述语料库中的每个句子进行筛选，将满足预设筛选条件的句子组成分词词典，具体为：

根据策略函数计算所述语料库中的每个句子的选取概率；

根据预设的筛选概率，将所述选取概率大于所述筛选概率的句子存入所述分词词典。

3.根据权利要求1所述的方法，其特征在于，所述通过对所述分词词典中每个句子的分析得到语言模型，具体为：

采用Kenlm工具对所述分词词典中的每个句子进行解析以得到所述语言模型。

4.根据权利要求1所述的方法，其特征在于，所述损失函数为CTC损失函数。

5.一种语言模型的建立装置，其特征在于，包括：

获取模块，用于获取语料库，所述语料库包括至少一个经过分词处理的句子；

策略模块，用于根据策略函数对所述语料库中的每个句子进行筛选，将满足预设筛选条件的句子组成分词词典；

分析模块，用于通过对所述分词词典中每个句子的分析得到语言模型；

解码模块，用于用所述语言模型对预先获取的声学模型进行解码以计算损失函数；

奖励模块，用于若根据所述损失函数和预设的奖励函数得到的奖励值满足预设的优化条件，则判断所述语言模型建立完成；

所述奖励模块还用于，若所述奖励值不满足预设的优化条件，则判断所述语言模型没有完成；相应地，所述策略模块还用于，采用策略梯度算法根据所述奖励函数对所述策略函数进行修正以得到新的策略函数，以使所述新的策略函数对所述语料库中每个句子重新进行筛选。

6.根据权利要求5所述的装置，其特征在于，所述策略模块具体用于，根据策略函数计算所述语料库中的每个句子的选取概率；根据预设的筛选概率，将所述选取概率大于所述筛选概率的句子存入所述分词词典。

7.一种电子设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一所述的方法。