[发明专利]一种语言模型计算处理方法及系统

说明书

技术领域

本发明涉及语言建模技术领域，更为具体而言，涉及一种语言模型计算处理方法及系统。

背景技术

随着信息智能技术的普遍应用，各类语言输入法不断更新。然而，在传统输入法中常用的模型为npos模型和ngram模型，ngram模型对于变换结果比较好，npos模型对于词条拓展比较方便.两者各具优势。传统的ngram模型对于新词热词不具备整句变换能力。因此，急需一种能够使npos模型和ngram模型融合的语言模型计算处理及系统。

发明内容

为了解决传统的ngram模型对于新词热词不具备整句变换能力的问题，本发明实施方式提供了一种语言模型计算处理方法及系统。

一方面，本发明实施方式提供了一种语言模型计算处理方法，所述方法包括：

根据输入发音，对训练语料数据进行查询，得到所述发音对应的词条；

通过ngram模型结合npos模型来计算所述词条的cost值；以及

选取所述计算出的cost值最小词条作为候选结果。

相应的，本发明实施方式还提供了一种语言模型计算处理系统，所述系统包括：

查询模块，用于根据输入发音，对训练语料数据进行查询，得到所述发音对应的词条；

计算模块，用于通过ngram模型结合npos模型来计算所述词条的cost值；

选取模块，用于选取所述计算出的cost值最小词条作为候选结果。

实施本发明的各种实施方式可使传统ngram模型具有npos模型的拓展性，有效其改善对于新词、热词的整句变换能力。

附图说明

图1是根据本发明实施方式的一种语言模型计算处理方法的流程图；

图2是根据本发明实施方式的一种语言模型计算处理系统的架构图；

图3示出了图2所示的查询模块100的框图；

图4示出了图2所示的选取模块300的框图。

具体实施方式

以下结合附图和具体实施方式对本发明的各个方面进行详细阐述。其中，众所周知的模块、单元及其相互之间的连接、链接、通信或操作没有示出或未作详细说明。并且，所描述的特征、架构或功能可在一个或一个以上实施方式中以任何方式组合。本领域技术人员应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。还可以容易理解，本文所述和附图所示的各实施方式中的模块或单元或处理方式可以按各种不同配置进行组合和设计。

图1是根据本发明实施方式的一种语言模型计算处理方法的流程图，参见图1，所述方法包括如下步骤：

步骤S1，根据输入发音，对训练语料数据进行查询，得到所述发音对应的词条；其中，具体包括：对所述发音进行逐字符组合(例如,输入发音为ABC,按字节切分后可能的组合为:A+B+C,AB+C,A+BC,ABC)，获取所有可能的发音片段，并根据所述发音片段查询对应的词条。例如：当输入发音xian(拼音字符)，进行逐字符组合，即可出现两种发音片段：xi’an和xian，获取这两种发音片段，并查询到对应的词条“西安”和“先”等多个同音词条。

步骤S2，通过ngram模型结合npos模型来计算所述词条的cost值，其中，当第N+1个词条与前N个词条不存在共现信息时，则通过所述npos模型计算所述词条的cost值，其中，N为不小于1的整数，具体而言，计算cost值包括：计算所述前N个词条的词性共现频次以及各个词性到词的cost值。其中，传统的ngram模型计算cost值c的方法是:

c＝cost(word1,word2,word3,…,wordn)

本发明中，结合npos模型计算cost值c的方法是:

c＝trans_cost(class1,class2,class3,…,classn)+cost(class1,word1)+gen_cost(class2,word2)+gen_cost(class3,word3)+…+gen_cost(classn,wordn)

其中,trans_cost是由语料中各词条的词性的共现频次来计算的,gen_cost是由语料中各词性包含各词条的频次来计算的.具体计算公式为:

trans_cost＝-1000*log(freq(class1,class2,class3,…,classn)/freq(class1,class2,class3,…,classn-1))

gen_cost＝-1000*log(freq(word,class)/freq(class))