[发明专利]词嵌入模型的训练方法及装置

权利要求书

1.一种词嵌入模型的训练方法，其特征在于，包括以下步骤：

利用词嵌入矩阵，训练样本的输入词向量化表示为第一向量；

根据所述第一向量得到预测词；

利用所述预测词，以及所述输入词所对应的真实词，更新所述输入词在词嵌入矩阵中所对应的参数；

获取目标词的近义词集，所述目标词包括所述输入词或所述真实词；

从所述近义词集中确定一个榜样词；

更新所述目标词和所述榜样词在词嵌入矩阵中所对应的参数，以缩短所述目标词与所述榜样词之间的距离。

2.根据权利要求1所述的词嵌入模型的训练方法，其特征在于，从所述近义词集中确定一个榜样词的步骤，包括：

从所述近义词集中确定子集，所述子集中的每一个近义词与所述目标词的反义词分别处于所述目标词的两侧；

从所述子集中确定一个榜样词。

3.根据权利要求1所述的词嵌入模型的训练方法，其特征在于，所述词嵌入模型的目标函数L(H)为：

L(H)＝L+α·J(w_t,w_i)，

其中，L为第一目标函数，表示CBOW模型或Skip模型的目标函数；

w_t表示目标词，w_i表示选自所述近义词集的榜样词；

J(w_t,w_i)为第二目标函数，表示榜样词w_i与目标词w_t之间的距离；

α表示影响因子。

4.根据权利要求3所述的词嵌入模型的训练方法，其特征在于，榜样词w_i与目标词w_t之间的距离为余弦距离，

5.根据权利要求4所述的词嵌入模型的训练方法，其特征在于，更新所述目标词在词嵌入矩阵中所对应的参数的步骤，包括：

其中，w_tj^(new)表示目标词w_t的第j维在更新后的值；

η表示第二学习率；

Gradient(w_tj)表示目标词w_t的第j维的更新梯度；

表示目标词w_t与榜样词w_i之间的距离值，对目标词w_t的第j维的偏导数；

w_tj表示目标词w_t的第j维在更新之前的值；

w_ij表示榜样词的第j维在更新之前的值。

6.根据权利要求4所述的词嵌入模型的训练方法，其特征在于，更新所述榜样词在词嵌入矩阵中所对应的参数的步骤，包括：

w_ij^(new)＝w_ij+η·Gradient(w_ij)，

其中，w_ij^(new)表示榜样词w_i的第j维在更新后的值；

η表示第二学习率；

Gradient(w_ij)表示榜样词w_i的第j维的更新梯度；

表示目标词w_t与榜样词w_i之间的距离值，对榜样词w_i的第j维的偏导数；

w_ij表示近义词w_i的第j维在更新之前的值；

w_tj表示目标词的第j维在更新之前的值。