[发明专利]词向量的获取方法和装置、存储介质及电子装置

权利要求书

1.一种词向量的获取方法，其特征在于，包括：

获取待识别的第一语料；

将所述第一语料合并到第二语料中，得到目标语料，其中，所述第二语料中包括锚点词集合，所述锚点词集合中锚点词的词频大于第一阈值，每个所述锚点词将分别生成对应的锚点词向量；

对所述目标语料进行切词，得到多个目标词语，其中，所述多个目标词语包括：所述锚点词及非锚点词；

获取所述多个目标词语中每个目标词语对应的目标词向量，及每个所述目标词语的出现次数和所述多个目标词语中两两目标词语为相邻词语的相邻次数，根据所述出现次数及所述相邻次数确定所述多个目标词语中两两目标词语之间的权重，其中，所述目标词向量包括：所述锚点词向量，及为所述非锚点词随机生成的候选非锚点词向量；

将每两个相邻词语的所述权重，和该两个相邻词语各自对应的所述目标词向量之间的余弦距离作为目标损失函数的输入，得到所述目标损失函数输出的损失值，其中，所述目标损失函数与所述权重呈负相关，所述目标损失函数与所述余弦距离呈负相关；在所述损失值小于第二阈值的情况下，确定所述候选非锚点词向量为与所述非锚点词匹配的目标非锚点词向量。

2.根据权利要求1所述的方法，其特征在于，在根据所述权重及所述目标词向量，确定与所述目标语料对应的损失值之后，还包括：

在所述损失值大于所述第二阈值的情况下，更新为所述非锚点词随机生成的所述候选非锚点词向量，得到更新后的所述候选非锚点词向量；

利用更新后的所述候选非锚点词向量和所述锚点词向量，及所述权重，更新所述损失值。

3.根据权利要求1所述的方法，其特征在于，根据所述出现次数及所述相邻次数确定所述权重，包括：

通过以下公式确定所述目标语料中目标词语w_i和目标词语w_j之间的所述权重：

其中：所述为所述目标词语w_i和所述目标词语w_j作为前后连续相邻词语在一起出现的次数；所述所述其中，为所述目标词语w_i出现的次数，所述为所述w_j出现的次数，所述N是所述目标语料中所述多个目标词语出现的总次数；

其中，所述g(cos距离(v_i，v_j))是所述目标词语w_i对应的目标词向量v_i和所述目标词语w_j对应的目标词向量v_j之间的余弦距离，其中，在所述v_i，v_j任一个不存在时，所述g(cos距离(v_i，v_j))＝1。

4.根据权利要求1所述的方法，其特征在于，根据所述权重及所述目标词向量，确定与所述目标语料对应的损失值，包括：

通过以下公式根据所述权重及所述目标词向量，确定与所述目标语料对应的损失值：

其中，所述now_N用于表示所述目标语料中目标词语的总个数；所述neighbor(i)用于表示与目标词语w_i前后相邻连续在一起出现的相邻词语；所述w_ij为所述目标词语w_i和目标词语w_j之间的权重；所述x_k_v_i用于表示所述目标词语w_i的目标词向量；所述x_k_v_j用于表示所述目标词语w_j的目标词向量；所述用于表示所述x_k_v_i和所述x_k_v_j之间的余弦距离。