[发明专利]一种词嵌入语言模型训练方法、词语识别方法及系统

权利要求书

1.一种词嵌入语言模型训练方法，包括：

确定语料库中的所有词语的属性以生成词表，所述属性包括所有词语的词性分类、所有词性分类的概率分布和所有词语在所属词性分类下的概率分布；

判断获取自所述词表的词语是否为低频词；

如果是，则将获取自所述词表的词语拆解成字，并对拆解得到的字进行编码以用于确定相应的词向量；

如果否，则提取所述获取自所述词表的词语的向量作为词向量；

生成对应于所述词表中所有词语的词性分类的词性分类向量；

以所述词表中的词语的词向量和所述词表中的词语的词性分类向量为输入，以所述词表中的词语所属的词性分类的概率分布和所述词表中的词语在所属词性分类下的概率分布为输出进行训练，以得到所述词嵌入语言模型。

2.一种词语识别方法，所述方法采用了权利要求1中所述的词嵌入语言模型，所述方法包括：

生成待识别词语的词向量；

确定所述待识别词语的词性分类的词性分类向量；

将所述待识别词语的词向量和词性分类向量输入所述词嵌入语言模型，以获取所述待识别词语所属的词性分类的概率分布和所述待识别词语在所属词性分类下的概率分布；

当所述待识别词语属于用于训练所述词嵌入语言模型的词表时，所述生成所述待识别词语的词向量包括：

判断所述待识别词语是否为低频词；

如果是，则将所述待识别词语拆解成字，并对拆解得到的字进行编码以用于确定相应的词向量；

如果否，则提取所述待识别词语的向量作为词向量。

3.根据权利要求2所述的方法，其中，当所述待识别词语不属于用于训练所述词嵌入语言模型的词表时，所述生成所述待识别词语的词向量包括：

确定所述待识别词语的属性以更新所述词表；

将所述待识别词语拆解成字，并对拆解得到的字进行编码以用于确定相应的词向量。

4.一种词嵌入语言模型训练系统，包括：

词表生成程序模块，用于确定语料库中的所有词语的属性以生成词表，所述属性包括所有词语的词性分类、所有词性分类的概率分布和所有词语在所属词性分类下的概率分布；

频词判断程序单元，用于判断获取自所述词表的词语是否为低频词；

第一词向量生成程序单元，用于当判断获取自所述词表的词语为低频词时，将获取自所述词表的词语拆解成字，并对拆解得到的字进行编码以用于确定相应的词向量；

第二词向量生成程序单元，用于当判断获取自所述词表的词语为高频词时，提取所述获取自所述词表的词语的向量作为词向量；

词性分类向量生成程序模块，用于生成对应于所述词表中所有词语的词性分类的词性分类向量；

模型训练程序模块，用于以所述词表中的词语的词向量和所述词表中的词语的词性分类向量为输入，以所述词表中的词语所属的词性分类的概率分布和所述词表中的词语在所属词性分类下的概率分布为输出进行训练，以得到所述词嵌入语言模型。

5.一种词语识别系统，包括：

权利要求4中所述的词嵌入语言模型；

词向量生成程序模块，用于生成待识别词语的词向量；

词表生成程序模块，用于确定所述待识别词语的词性分类的词性分类向量；

词语识别程序模块，用于将所述待识别词语的词向量和词性分类向量输入所述词嵌入语言模型，以获取所述待识别词语所属的词性分类的概率分布和所述待识别词语在所属词性分类下的概率分布；

当所述待识别词语属于用于训练所述词嵌入语言模型的词表时，所述词向量生成程序模块包括：

频词判断程序单元，用于判断所述待识别词语是否为低频词；

第一词向量生成程序单元，用于当判断获取自所述词表的词语为低频词时，将所述待识别词语拆解成字，并对拆解得到的字进行编码以用于确定相应的词向量；

第二词向量生成程序单元，用于当判断获取自所述词表的词语为高频词时，提取所述待识别词语的向量作为词向量。