[发明专利]获得加权语言模型概率及构建加权语言模型的方法和装置

说明书

技术领域

本发明涉及信息处理技术，具体地，涉及为句子获得加权语言模型概率的方法和装置、构建加权语言模型的方法和装置以及应用了这些方法或装置的基于语料库的机器翻译方法和系统。

背景技术

统计机器翻译是主要的基于语料库的机器自动翻译技术之一。在该技术中，通常会用到多种概率模型。语言模型是统计机器翻译技术中最主要的概率模型之一。所谓语言模型，是用于为一个句子(或词序列)计算出一个概率值，以表明该句子(或词序列)的流利度的模型。也就是说，语言模型用于为一个句子(或词序列)计算出能够表示该句子(或词序列)在所属语言中的出现概率、即是否常用的概率值。

在统计机器翻译技术中，通过利用语言模型来计算候选译文的出现概率(以下称为“语言模型概率”)，可以帮助译文选择。因为语言模型概率越高，表明该译文越常用，越符合所属语言的习惯，这样，通过使用语言模型概率评价候选译文的流利度，能够确保译文生成质量。

在现有的统计机器翻译技术中，语言模型通常利用马尔科夫模型从单语文本语料中训练得到。根据马尔可夫模型，对于一个包含N个词的句子E＝{e₁，e₂，...，e_N}，按照下式(1)来获得其语言模型概率p(E)：

p(E)=Πi=1Np(ei|e1,e2,...,ei-2,ei-1)---(1)]]>

其中，p(e_i|e₁，e₂，...，e_i-2，e_i-1)是单词e_i的概率，该概率表示单词e_i出现在前面的i-1个单词e₁，e₂，...，e_i-2，e_i-1之后的概率。

但是，由于在根据上式(1)计算句子的语言模型概率时的训练数据稀疏的原因，在实际的计算过程中，通常以马尔科夫模型为理论基础，使用平滑的ngram模型来近似地得到语言模型概率。根据平滑的ngram模型，对于上述包含N个词的句子E＝{e₁，e₂，...，e_N}，按照下式(2)来近似地获得其语言模型概率p(E)：