[发明专利]词嵌入模型的训练方法及装置

权利要求书

1.一种词嵌入模型的训练方法，其特征在于，包括以下步骤：

利用词嵌入矩阵，将训练样本的输入词向量化表示为第一向量；

根据所述第一向量得到预测词；

利用所述预测词，以及所述输入词所对应的真实词，更新所述输入词在词嵌入矩阵中所对应的参数；

获取目标词的近义词集，所述目标词包括所述输入词或所述真实词；

从所述近义词集中确定一个榜样词；

更新所述目标词在词嵌入矩阵中所对应的参数，以缩短所述目标词与所述榜样词之间的距离。

2.根据权利要求1所述的词嵌入模型的训练方法，其特征在于，从所述近义词集中确定一个榜样词的步骤，包括：

从所述近义词集中确定子集，所述子集中的每一个近义词与所述目标词的反义词分别处于所述目标词的两侧；

从所述子集中确定一个榜样词。

3.根据权利要求1所述的词嵌入模型的训练方法，其特征在于，所述词嵌入模型的目标函数L(H)为：

L(H)＝L+α·J(w_t,w_i)，

其中，L为第一目标函数，表示CBOW模型或Skip模型的目标函数；

w_t表示目标词，w_i表示选自所述近义词集的榜样词；

J(w_t,w_i)为第二目标函数，表示榜样词w_i与所述目标词w_t之间的距离；

α表示影响因子。

4.根据权利要求3所述的词嵌入模型的训练方法，其特征在于，

5.根据权利要求4所述的词嵌入模型的训练方法，其特征在于，更新所述目标词在词嵌入矩阵中所对应的参数的步骤，包括：

w_tj^(new)＝w_tj+η·Gradient(w_tj)，

其中，w_tj^(new)表示目标词w_t的第j维在更新后的值；

η表示第二学习率；

Gradient(w_tj)表示目标词w_t的第j维的更新梯度；

表示目标词w_t与榜样词w_i之间的距离值，对目标词w_t的第j维的偏导数；

w_tj表示目标词w_t的第j维在更新之前的值；

w_ij表示榜样词的第j维的值。

6.根据权利要求5所述的词嵌入模型的训练方法，其特征在于，第二学习率η通过以下方式得到：

η＝α·μ，

其中，α表示影响因子；

μ表示第一学习率；

μ₀表示第一学习率预设初始值；

train_words表示训练语料的总词数；

word_ca表示当前已经训练过的输入词的数量；

iter表示当前训练的迭代轮次。

7.根据权利要求5所述的词嵌入模型的训练方法，其特征在于，当更新梯度Gradient(w_tj)的绝对值＞max_Gradient时，取所述Gradient(w_tj)＝max_Gradient；

其中，max_Gradient为梯度最大值；

starting_mG表示梯度最大值的预设初始值；

train_words表示训练语料的总词数；

word_ca表示当前已经训练过的输入词的数量；

iter表示当前训练的迭代轮次。