[发明专利]一种基于循环神经网络的蒙古语语言模型的训练方法

摘要

本发明在原有的N‑Gram、NNLM、RNNLM语言模型的基础上提供了一种基于DNN的蒙古语声学模型并公开了其训练方法。本发明在输入层引入上下文词向量和含有语义信息类别的词向量，不仅可以学习到更长距离的历史信息，同时也注入了相关的语义类别信息，有效的解决了现有的语言模型主要存在的问题。

主权项

1.一种基于循环神经网络的蒙古语语言模型的训练方法，其特征在于：所述的基于循环神经网络的蒙古语语言模型在预训练阶段，使用Word2vec+k‑means算法得到蒙古语词表中的蒙古语词及其所属的语义类别，并设计了基于one‑hot的蒙古语语义词向量，蒙古语语义词向量是根据不同的语义类别下的蒙古语词的个数，作为每个语义类别下的蒙古语词向量的维度，依次按照语义类别进行词向量的编码，编码完成语义类别1下的所有蒙古语词后，继续进行语义类别2下的所有蒙古语词的词向量编码，直至完成所有语义类别下的蒙古语词编码，编码格式同one‑hot编码格式相同，具体训练算法为：输入：V表示包含|V|个蒙古语词向量{w1,…,wV}的数据集合；k表示簇的数目(k≤V).输出：k个簇的集合S当对MLMRNN进行训练和计算时，对每个输入的蒙古语词，根据类别信息创建基于one‑hot的语义词向量，作为输入层进行计算。根据语义分为k类，基于one‑hot的蒙古语语义词向量创建算法如下：输入：k个簇的集合S，其中Si表示第i个集合，S共有k个分类；//k表示簇的数目；index表示k个簇下的蒙古语词向量的位置输出：kc‑one‑hot//k个簇下的基于one‑hot的蒙古语词向量模型的训练算法：wt表示t时刻的当前输入蒙古语基于one‑hot的语义词向量，维度是词典V的大小。ft表示t时刻预训练的蒙古语Skip‑Gram词向量，维度为M(M＜V)输入：wt表示t时刻预训练的基于one‑hot的蒙古语语义词向量，ft表示t时刻预训练的蒙古语Skip‑Gram词向量，α表示学习率，epoch表示循环次数，τ表示bptt大小.输出：模型参数Wxs,Wss,Wfs,Wsc,Wsy,下一个蒙古语词在前几个词作用下出现的概率yt.//lt是词在类中期望输出概率,yt是真实输出的类概率,c′t是期望输出的类概率,ct是真实输出的类概率.随机初始化Wxs,Wfs,Wss,Wsy,Wsc