[发明专利]基于语义表示模型来生成词向量的方法、装置和电子设备

权利要求书

1.一种基于语义表示模型来生成词向量的方法，用于在K维词向量空间中生成源(source)语言的词向量和目标(target)语言的词向量，所述语义表示模型至少包括输入层，隐含层，输出层，第一权重矩阵W和第二权重矩阵M，其中，所述输入层被输入语料的中心词语的各上下文词语的第一词向量，所述第一词向量被所述第一权重矩阵W转化为第二词向量，所述隐含层根据所述第二词向量生成隐含状态值，所述隐含状态值被所述第二权重矩阵M转化为第三向量，所述输出层对所述第三向量进行处理并输出；

其特征在于，该方法包括：

基于输入到所述输入层的源语言的词语所对应的第一词向量，得到源语言的隐含状态值的均值和方差基于输入到所述输入层的目标语言的词语所对应的第一词向量，得到目标语言的隐含状态值的均值和方差

基于源语言的隐含状态值的均值和方差以及目标语言的隐含状态值的均值和方差构建损失函数，并基于使所述损失函数最小的原则，调整所述第一权重矩阵W和所述第二权重矩阵M；以及

基于调整后的第一权重矩阵W，将输入到所述输入层的源语言的词语所对应的第一词向量转化为第二词向量，以及将输入到所述输入层的目标语言的词语所对应的第一词向量转化为第二词向量。

2.如权利要求1所述的方法，其中，

所述损失函数反映源语言的隐含状态值的均值与目标语言的隐含状态值的均值之间的差异，以及源语言的隐含状态值的方差和目标语言的隐含状态值的方差之间的差异。

3.如权利要求1所述的方法，其中，调整所述第一权重矩阵W和所述第二权重矩阵M包括：

基于所述损失函数相对于隐含状态值的梯度，调整所述第一权重矩阵W和所述第二权重矩阵M。

4.如权利要求1所述的方法，其中，调整所述第一权重矩阵W和所述第二权重矩阵M包括：

在所述语义表示模型的所述输出层，针对源语言的词典和目标语言的词典分别进行负采样，并基于负采样的结果调整所述第一权重矩阵W和所述第二权重矩阵M。

5.一种基于语义表示模型来生成词向量的装置，用于在K维词向量空间中生成源(source)语言的词向量和目标(target)语言的词向量，所述语义表示模型至少包括输入层，隐含层，输出层，第一权重矩阵W和第二权重矩阵M，其中，所述输入层被输入语料的中心词语的各上下文词语的第一词向量，所述第一词向量被所述第一权重矩阵W转化为第二词向量，所述隐含层根据所述第二词向量生成隐含状态值，所述隐含状态值被所述第二权重矩阵M转化为第三向量，所述输出层对所述第三向量进行处理并输出；

其特征在于，该装置包括：

第一获取单元，其基于输入到所述输入层的源语言的词语所对应的第一词向量，得到源语言的隐含状态值的均值和方差基于输入到所述输入层的目标语言的词语所对应的第一词向量，得到目标语言的隐含状态值的均值和方差

第一调整单元，其基于源语言的隐含状态值的均值和方差以及目标语言的隐含状态值的均值和方差构建损失函数，并基于使所述损失函数最小的原则，调整所述第一权重矩阵W和所述第二权重矩阵M；以及

第一转化单元，其基于调整后的第一权重矩阵W，将输入到所述输入层的源语言的词语所对应的第一词向量转化为第二词向量，以及将输入到所述输入层的目标语言的词语所对应的第一词向量转化为第二词向量。

6.如权利要求5所述的装置，其中，

所述损失函数反映源语言的隐含状态值的均值与目标语言的隐含状态值的均值之间的差异，以及源语言的隐含状态值的方差和目标语言的隐含状态值的方差之间的差异。

7.如权利要求5所述的装置，其中，

所述第一调整单元基于所述损失函数相对于隐含状态值的梯度，调整所述第一权重矩阵W和所述第二权重矩阵M。

8.如权利要求5所述的装置，其中，

所述第一调整单元在所述语义表示模型的所述输出层针对源语言的词典和目标语言的词典分别进行负采样，并基于负采样的结果调整所述第一权重矩阵W和所述第二权重矩阵M。

9.一种电子设备，包括权利要求5-8中任一项所述的装置。