[发明专利]语句识别方法、装置以及计算机可读介质

说明书

本申请公开了一种语句识别方法、装置以及计算机可读介质，通过获取按照语序排列的多个词的原始组合；将原始组合输入至目标N元语法模型中，若原始组合中含有人名地名列表中的名称，则目标N元语法模型将原始组合中含有的名称替换成人名地名列表中对应的类别标签，得到替换后的组合，并计算得到替换后的类别标签相关的概率，根据替换后的组合中每一个词的词相关的概率、类别标签相关的概率、以及原始组合中的名称在人名地名列表中对应的类别标签下的所有名称的占比，得到原始组合作为一个句子的概率。相较于现有的N元语法模型，本申请的目标N元语法模型使得含有人名或者地名的语句更容易被正确识别出来。

技术领域

本发明涉及语言识别技术领域，尤其涉及一种语句识别方法、装置以及计算机可读介质。

背景技术

语言模型用于计算多个词的组合作为一个句子出现的概率，是语音识别、手写识别、输入法等应用中的重要模块。N元语法是语言模型中较为常见的一种建模方法，它假设当前词出现的概率仅依赖于前面N-1个词，由此计算得到多个词的组合作为一个句子出现的概率。例如，在二元语法的情况下，“我是小明”这句话的概率P(我是小明)等于P(我)、P(是/我)以及P(小明/是)的乘积。

然而，由于人名和地名这类具有特定标识性的词比较罕见，即使对大量的人名和地名进行了收集，使得语言模型能够识别出人名和地名的语义，但用于训练模型的语句中不可能包含所有的人名和地名的使用形式，导致包含了人名或者地名的语句很难被正确识别出来，即人名地名相关的语言模型的稀疏问题比较严重。例如，语言模型中虽然有收集“小明”这一人名，但训练模型的语句集中没有收集到“我是小明”这类的语句，因此P(小明/是)的概率，即“是”字后面跟着“小明”的概率为0，“我是小明”这句话作为一个句子的概率也为0，无法被语言模型识别出来。

发明内容

基于上述现有技术的不足，本申请提出了一种语句识别方法、装置以及计算机可读介质，以实现解决人名地名相关的语言模型的稀疏问题。

本发明第一方面公开了一种语句识别方法，包括：

获取按照语序排列的多个词的原始组合；

将所述原始组合输入至目标N元语法模型中，得到所述原始组合作为一个句子的概率；其中，若所述原始组合中含有人名地名列表中的名称，则所述目标N元语法模型将所述原始组合中含有的名称替换成所述人名地名列表中对应的类别标签，得到替换后的组合，并计算得到所述替换后的组合中的所述类别标签相关的概率，根据所述替换后的组合中每一个词的词相关的概率、所述类别标签相关的概率、以及所述原始组合中的名称在所述人名地名列表中对应的类别标签下的所有名称的占比，得到所述原始组合作为一个句子的概率；

所述人名地名列表中的名称包括：人名和地名；所述人名地名列表中的名称所对应的类别标签依据预设的分类规则设定。

可选地，在上述语句识别方法中，所述目标N元语法模型的构建方法，包括：

创建第一语料集；其中，所述第一语料集的每一个句子均含有名称；所述名称包括人名和/或地名；

根据所述预设的分类规则，将所述第一语料集中的名称替换成对应的类别标签，得到替换后的第一语料集；

根据所述替换后的第一语料集，训练得到初始N元语法模型；其中，所述初始N元语法模型用于计算含有替换后的类别标签的组合中每一个词的词相关的概率、以及所述替换后的类别标签相关的概率；

根据所述人名地名列表和所述初始N元语法模型，得到所述目标N元语法模型；其中，所述目标N元语法模型用于计算得到含有所述人名地名列表中的名称的多个词的组合作为一个句子的概率；所述人名地名列表中至少包括所述第一语料集中的每一个句子包括的人名和地名。