[发明专利]一种词嵌入语言模型训练方法、词语识别方法及系统

说明书

本发明公开一种词嵌入语言模型训练方法，包括：确定语料库中的所有词语的属性以生成词表，所述属性包括所有词语的词性分类、所有词性分类的概率分布和所有词语在所属词性分类下的概率分布；生成所述词表中所有词语的词向量；生成对应于所述词表中所有词语的词性分类的词性分类向量；以所述词表中的词语的词向量和所述词表中的词语的词性分类向量为输入，以所述词表中的词语所属的词性分类的概率分布和所述词表中的词语在所属词性分类下的概率分布为输出进行训练，以得到所述词嵌入语言模型。本发明实施例中在进行语言模型，即便是遇到OOV词语，也能通过该OOV词语的形态学信息和所述词性分类的句法级信息来进行准确的识别。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种词嵌入语言模型训练方法、词语识别方法及系统。

背景技术

目前应用于语音识别系统中的语言模型主要用于为语音识别出的词语及句子进行打分，并加上声学模型的打分，以得到识别出的最优结果。现有基于神经网络的语言模型训练速度较慢，并且训练时需要有固定已知的词表。传统的语言模型中，用于训练的词表中的每一个词用一个one-hot向量代表，例如，一个词表大小为1万(即，此表中有1万个词)，那么表示一个词时采用一个一万维度的向量并且只有对应于该词的那一位为1。然后将该向量输入至神经网络之后与一个词嵌入矩阵相乘，转换成一个实数的向量，最终实现语言模型的训练；同样进行词语识别时也是将词语转化成实数向量进行识别。

然而，发明人在实现本发明的过程中发现，用于训练语言模型的词表往往并不能够覆盖所有的词语，所以在使用传统语言模型时，如果碰到待识别词语是未录入词表的词语(例如，以后实际应用中所出现的词表之外的词out-of-vocabulary，OOV)时候，传统语言模型是无法对该词语进行正确可靠的识别的(因为，该待识别词语不存在于词表，所以根本就不存在对应于该待识别词语的向量，从而也就不能够与词嵌入向量相乘以得到相应于该OOV的实数向量)，除非将该待识别词语添加至词表，并采用新的词表重新训练一个新的语言模型。

为了解决传统语言模型中所存在的问题，目前最常用的就是用一个特殊的标记unk代表所有超出词表的词。首先得到一个确定的词表，并加入一个特殊的unk字符。然后将训练集中所有OOV词全部替换为unk进行训练。在使用过程中，所有OOV词同样用unk代替。

发明人在实现本发明的过程中发现，超出词表的词通常都是罕见词，因此这些词的训练数据本身就很少，现有技术中做法舍弃了这些OOV词所具有的语言学上的信息，因此，最后对这些词的识别结果也是十分不准确的。

发明内容

本发明实施例提供一种在神经网络语言模型中添加新词的方法及系统，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种词嵌入语言模型训练方法，包括：

确定语料库中的所有词语的属性以生成词表，所述属性包括所有词语的词性分类、所有词性分类的概率分布和所有词语在所属词性分类下的概率分布；

生成所述词表中所有词语的词向量；

生成对应于所述词表中所有词语的词性分类的词性分类向量；

以所述词表中的词语的词向量和所述词表中的词语的词性分类向量为输入，以所述词表中的词语所属的词性分类的概率分布和所述词表中的词语在所属词性分类下的概率分布为输出进行训练，以得到所述词嵌入语言模型。

第二方面，本发明实施例还提供一种词语识别方法，所述方法采用了本发明上述实施例中的的词嵌入语言模型，所述方法包括：

生成待识别词语的词向量；

确定所述待识别词语的词性分类的词性分类向量；

将所述待识别词语的词向量和词性分类向量输入所述词嵌入语言模型，以获取所述待识别词语所属的词性分类的概率分布和所述待识别词语在所属词性分类下的概率分布。