[发明专利]一种融入先验知识的蒙古语词嵌入方法

权利要求书

1.一种融入先验知识的蒙古语词嵌入方法，其特征在于，包括如下步骤：

步骤1，爬取互联网上的蒙古语商品评论消息，得到蒙古语文本s，蒙古语文本s中有N个单词，分别为w₁,w₂,…,w_N；

步骤2，将w₁,w₂,…,w_N不重复地放入一个空词表中，得到词表vocab，词表vocab中单词的数量为vocab_size；

步骤3，用one-hot向量编码对词表vocab中的单词进行编码；

步骤4，将蒙古语文本所有单词的one-hot向量传入神经网络的隐藏层1，动态设置隐藏层1的神经元数量为embedding_size，每个神经元中有vocab_size个权重系数，使用skip-gram算法遍历蒙古语文本s中的所有单词，即从w₁开始直至w_N，每个单词的向量维度为vocab_size；将各单词的one-hot向量依次与神经网络的隐藏层1的中心词权重矩阵N₁进行相乘降维运算，N₁是一个vocab_size行，embedding_size列的矩阵；将得到的中心词向量依次按行拼接得到中心词向量矩阵M₁，中心词向量矩阵M₁共有N行，embedding_size列；

步骤5，将中心词向量矩阵M₁传入隐藏层2，隐藏层2的神经元数量为vocab_size，每个神经元中有embedding_size个权重系数，将各中心词向量依次与隐藏层2的预测词权重矩阵N₂相乘，N₂是一个embedding_size行，vocab_size列的矩阵；将得到的预测词向量依次按行拼接得到预测词向量矩阵M₂，预测词向量矩阵M₂共有N行，vocab_size列；

将预测词向量矩阵M₂按行拆分为每一个单词的预测词向量，对各预测词向量进行softmax运算，输出新的预测词向量矩阵，新的预测词向量矩阵大小有1行，vocab_size列，将每个新的预测词向量与对应的one-hot向量求交叉熵，若求得的交叉熵不满足要求即返回步骤4，否则执行下一步；

步骤6：引入先验知识，对相关单词的余弦相似度进行验证，若不满足则返回步骤4动态调整隐藏层参数，若满足则结束流程。

2.根据权利要求1所述融入先验知识的蒙古语词嵌入方法，其特征在于，所述步骤2，遍历蒙古语文本s中的所有单词，若第t个单词w_t首次出现，则放入词表vocab中，否则跳过w_t，直至遍历到第N个单词w_N，得到词表vocab。

3.根据权利要求1所述融入先验知识的蒙古语词嵌入方法，其特征在于，所述步骤3，对于蒙古语文本s的第t个单词w_t，其位于词表vocab的第k个位置，则其one-hot向量的第k个维度为1，其余维度皆为0。

4.根据权利要求1所述融入先验知识的蒙古语词嵌入方法，其特征在于，所述步骤4，神经网络包括输入层、隐藏层和输出层，其中隐藏层为两层结构，第一层为隐藏层1，用于对中心词的one-hot向量进行降维；第二层为隐藏层2，用于输出预测词向量，通过对预测词向量与单词原来的one-hot向量求交叉熵，判断神经网络词嵌入的准确性。

5.根据权利要求1所述融入先验知识的蒙古语词嵌入方法，其特征在于，所述步骤4，中心词的one-hot向量原始大小为1*vocab_size，传入隐藏层1中与N₁相乘，得到1*embedding_size的行向量矩阵。

6.根据权利要求1所述融入先验知识的蒙古语词嵌入方法，其特征在于，所述步骤6，调整隐藏层参数是指调整隐藏层1的参数。

7.根据权利要求1所述融入先验知识的蒙古语词嵌入方法，其特征在于，所述步骤6，引入词向量的加减法逻辑等式或者词向量乘除法逻辑等式来验证，计算先验知识运算得到的向量与中心词矩阵M₁中的向量的余弦相似度，若最后得到的结果小于0.5，则说明有一个相应的维度空间能够理解蒙古语，输出中心词矩阵M₁，作为词嵌入矩阵；若最后得到的结果大于0.5，则说明当前的维度不足以学习到表示蒙古语知识的向量，则返回步骤4，对隐藏层参数进行调节。