[发明专利]基于语义表示模型来生成词向量的方法、装置和电子设备

摘要

本申请的实施例提供一种基于语义表示模型来生成词向量的方法、装置和电子设备，该方法通过对源语言和目标语言的隐含状态值进行均值匹配来构建语义表示模型的损失函数，并且，在基于损失函数而调整语义表示模型的过程中，能够在双语共享的K维词向量空间中，分别得到源语言的词向量和目标语言的词向量，从而使得语义接近的源语言的词语与目标语言的词语所对应的词向量也彼此接近。根据本申请实施例，无需借助于跨语言监督，就能够实现源语言和目标语言的跨语言表示。

主权项

1.一种基于语义表示模型来生成词向量的方法，用于在K维词向量空间中生成源(source)语言的词向量和目标(target)语言的词向量，所述语义表示模型至少包括输入层，隐含层，输出层，第一权重矩阵W和第二权重矩阵M，其中，所述输入层被输入语料的中心词语的各上下文词语的第一词向量，所述第一词向量被所述第一权重矩阵W转化为第二词向量，所述隐含层根据所述第二词向量生成隐含状态值，所述隐含状态值被所述第二权重矩阵M转化为第三向量，所述输出层对所述第三向量进行处理并输出；其特征在于，该方法包括：基于输入到所述输入层的源语言的词语所对应的第一词向量，得到源语言的隐含状态值的均值和方差基于输入到所述输入层的目标语言的词语所对应的第一词向量，得到目标语言的隐含状态值的均值和方差基于源语言的隐含状态值的均值和方差以及目标语言的隐含状态值的均值和方差构建损失函数，并基于使所述损失函数最小的原则，调整所述第一权重矩阵W和所述第二权重矩阵M；以及基于调整后的第一权重矩阵W，将输入到所述输入层的源语言的词语所对应的第一词向量转化为第二词向量，以及将输入到所述输入层的目标语言的词语所对应的第一词向量转化为第二词向量。