[发明专利]词向量的获取方法和装置、存储介质及电子装置

说明书

本发明公开了一种词向量的获取方法和装置、存储介质及电子装置。其中，该方法包括：获取待识别的第一语料；将该第一语料合并到第二语料中，得到目标语料，对该目标语料进行切词，得到多个目标词语，获取该多个目标词语中每个目标词语对应的目标词向量，及该多个目标词语中两两目标词语之间的权重，根据该权重及该目标词向量，确定与该目标语料对应的损失值；在该损失值小于第二阈值的情况下，确定该候选非锚点词向量为与该非锚点词匹配的目标非锚点词向量。采用使用锚点词的稳定词向量计算非锚点词的词向量的方式，使得对于新增语料的词语的词向量学习结果较为稳定，进而解决了相关技术中由于数据更新导致的计算的词向量不稳定的技术问题。

技术领域

本发明涉及互联网领域，具体而言，涉及一种词向量的获取方法和装置、存储介质及电子装置。

背景技术

相关技术中的互联网经常有新词出现，所以词向量需要经常的重新训练更新，但是已有的词向量的学习方法，每运行一次，对于相同的词语学出的向量与上一次有很大不同，非常不稳定。

例如在相关技术中的金融应用场景，要求模型尽可能的稳定，词向量，作为金融模型的输入特征，如果特征不稳定，必然导致模型不稳定。以及对于描述用户画像的场景时，如年龄、性别、学历等，如果上个月和这个月预测结果不一样，是不合理的，需要尽量避免，而词向量作为一个重要的输入特征，词向量的稳定性直接影响模型的稳定性。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种词向量的获取方法和装置、存储介质及电子装置，以至少解决相关技术中由于数据更新导致的计算的词向量不稳定的技术问题。

根据本发明实施例的一个方面，提供了一种词向量的获取方法，包括：获取待识别的第一语料；将所述第一语料合并到第二语料中，得到目标语料，其中，所述第二语料中包括锚点词集合，所述锚点词集合中锚点词的词频大于第一阈值，每个所述锚点词将分别生成对应的锚点词向量；对所述目标语料进行切词，得到多个目标词语，其中，所述多个目标词语包括：所述锚点词及非锚点词；获取所述多个目标词语中每个目标词语对应的目标词向量，及所述多个目标词语中两两目标词语之间的权重，其中，所述目标词向量包括：所述锚点词向量，及为所述非锚点词随机生成的候选非锚点词向量；根据所述权重及所述目标词向量，确定与所述目标语料对应的损失值；在所述损失值小于第二阈值的情况下，确定所述候选非锚点词向量为与所述非锚点词匹配的目标非锚点词向量。

根据本申请的另一个实施例，还提供了一种词向量的获取装置，包括：第一获取模块，用于获取待识别的第一语料；第二获取模块，用于将所述第一语料合并到第二语料中，得到目标语料，其中，所述第二语料中包括锚点词集合，所述锚点词集合中锚点词的词频大于第一阈值，每个所述锚点词将分别生成对应的锚点词向量；第三获取模块，用于对所述目标语料进行切词，得到多个目标词语，其中，所述多个目标词语包括：所述锚点词及非锚点词；第四获取模块，用于获取所述多个目标词语中每个目标词语对应的目标词向量，及所述多个目标词语中两两目标词语之间的权重，其中，所述目标词向量包括：所述锚点词向量，及为所述非锚点词随机生成的候选非锚点词向量；第一确定模块，用于根据所述权重及所述目标词向量，确定与所述目标语料对应的损失值；第二确定模块，用于在所述损失值小于第二阈值的情况下，确定所述候选非锚点词向量为与所述非锚点词匹配的目标非锚点词向量。

可选地，所述第一确定模块在根据所述权重及所述目标词向量，确定与所述目标语料对应的损失值之后，还用于在所述损失值大于所述第二阈值的情况下，更新为所述非锚点词随机生成的所述候选非锚点词向量，得到更新后的所述候选非锚点词向量；利用更新后的所述候选非锚点词向量和所述锚点词向量，及所述权重，更新所述损失值。

可选的，所述第四获取模块还用于获取每个所述目标词语的出现次数及所述多个目标词语中两两目标词语为相邻词语的相邻次数；根据所述出现次数及所述相邻次数确定所述权重。