[发明专利]一种裁减语言模型的方法和装置

权利要求书

1.一种裁减语言模型的方法，其特征在于，所述方法包括：

对训练语料数据进行Ngram统计，形成原始Ngram语言模型的Ngram列表，所述Ngram列表包括原始Ngram语言模型中的所有Ngram；

针对Ngram列表中的每个Ngram，计算裁减掉该Ngram之后的Ngram语言模型与原始Ngram语言模型的概率分布之间的相对熵；

删除至少一个所述Ngram列表中相对熵小的Ngram，得到裁剪后的Ngram语言模型。

2.根据权利要求1所述的方法，其特征在于，所述相对熵由以下公式计算：

DKL=Σh,wP(h,w)×{log[P(w|h)]-log[P′(w|h)]},]]>其中，

D_KL表示相对熵；

P(h，w)表示出现h和w的联合概率；

P(w|h)表示裁减掉该Ngram之前，Ngram语言模型给出的在出现h的条件下出现w的条件概率；

P′(w|h)表示裁减掉该Ngram之后，Ngram语言模型通过平滑算法给出的在出现h的条件下出现w的条件概率。

3.根据权利要求2所述的方法，其特征在于，当采用回退平滑算法时，所述相对熵由以下公式计算：

DKL=C(w,h)N×{logP(w|h)-log[α(h)×P(w|h′)]},]]>其中，

C(w，h)表示h和w在语料库中同时出现的次数；

N表示所有Ngram出现次数的和；

α表示调整系数，是h的函数；

P(w|h′)]表示低阶Ngram语言模型给出的在出现h′的条件下出现w的条件概率；

h′表示低阶Ngram语言模型中的历史词。