[发明专利]训练词向量嵌入模型的方法及装置

权利要求书

1.一种训练词向量嵌入模型的方法，所述词向量嵌入模型包括，第一词向量矩阵和第二词向量矩阵；所述方法包括多次迭代更新，其中任一次迭代更新包括：

从训练语句对应的词语序列中，确定中心词语和所述中心词语的k个上下文词语，其中k为大于1的整数；

根据第一词向量矩阵，确定所述中心词语对应的中心词向量；根据第二词向量矩阵，确定所述k个上下文词语对应的k个上下文词向量；

基于所述k个上下文词向量彼此之间的相似度，确定其对应的k个注意力权重；

利用所述k个注意力权重，对所述k个上下文词向量进行加权求和，得到所述中心词语的上下文表示向量；

计算所述中心词向量与所述上下文表示向量之间的第一相似度；

至少以增大所述第一相似度为目标，更新所述第一词向量矩阵和所述第二词向量矩阵；所述多次迭代更新后的第一词向量矩阵用于查询目标词语的目标词向量。

2.根据权利要求1所述的方法，在所述多次迭代更新之前，所述方法还包括：

获取训练语料，其中包括多条训练语句；

对各条训练语句进行分词，根据分词结果，得到所述训练语料对应的词汇表，以及各训练语句对应的所述词语序列；

根据所述词汇表，初始化所述第一词向量矩阵和第二词向量矩阵，其中每个矩阵的一行或一列对应于所述词汇表中的一个词语。

3.根据权利要求2所述的方法，其中，根据分词结果，得到所述训练语料对应的词汇表，包括：

根据所述分词结果进行词频统计，得到多个不同分词的词频；

从所述多个不同分词中去除词频低于预定阈值的低频分词，得到所述词汇表。

4.根据权利要求1所述的方法，其中，从训练语句对应的词语序列中，确定中心词语和所述中心词语的k个上下文词语，包括：

采用预设宽度的滑窗，沿所述词语序列滑动，将任一时刻下，所述滑窗中心位置对应的词语确定为所述中心词语，将所述滑窗内除所述中心词语之外的词语，作为所述k个上下文词语。

5.根据权利要求1所述的方法，其中，基于所述k个上下文词向量彼此之间的相似度，确定其对应的k个注意力权重，包括：

基于所述k个上下文词向量，确定k阶相似度方阵，其中第i行第j列元素表示第i个上下文词向量与第j个上下文词向量之间的相似度，其中i和j为不大于k的正整数；

对所述k阶相似度方阵中的各行分别进行归一化处理，得到k阶自注意力分数方阵；

分别求取所述k阶自注意力分数方阵中各列的平均值，得到所述k个自注意力权重。

6.根据权利要求5所述的方法，其中，基于所述k个上下文词向量，确定k阶相似度方阵，包括：

计算所述第i个上下文词向量和第j个上下文词向量之间的点积，作为所述k阶相似度方阵中的第i行第j列元素。

7.根据权利要求5所述的方法，其中，对所述k阶相似度方阵中的各行分别进行归一化处理，得到k阶自注意力分数方阵，包括：

利用softmax函数对所述各行分别进行归一化处理，得到所述k阶自注意力分数方阵。

8.根据权利要求1所述的方法，其中计算所述中心词向量与所述上下文表示向量之间的第一相似度，包括：

计算所述中心词向量和所述上下文表示向量之间的点积，作为所述第一相似度。

9.根据权利要求1所述的方法，其中至少以增大所述第一相似度为目标，更新所述第一词向量矩阵和所述第二词向量矩阵，包括：

从所述第一词向量矩阵中随机抽取某个第一词向量；

计算所述某个第一词向量和所述上下文表示向量之间的第二相似度；

以增大所述第一相似度和减小所述第二相似度为目标，更新所述第一词向量矩阵和所述第二词向量矩阵。