[发明专利]针对训练语料从词频表中进行负例采样的方法及装置

说明书

本说明书实施例提供一种针对训练语料从词频表中进行负例采样的方法和装置，根据该方法，首先从词频表获取一个备选词汇作为当前词汇，并获取剩余采样个数，剩余采样概率和当前采样概率，基于当前词汇在剩余采样个数和当前采样概率条件下的二项分布，确定当前词汇被采样次数，然后将当前词汇按照被采样次数添加到负例集中。由于对一个当前词汇执行以上步骤的情况下，可以添加被采样次数的当前词汇到负例集，使总体的负例采样次数减少，从而减少负例采样的时间，进而能够快速有效地进行负例采样。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及通过计算机针对训练语料从词频表中进行负例采样的方法和装置。

背景技术

噪声对比估计NCE(Noise Contrastive Estimation)是Word2Vec、Node2Vec等无监督算法中通常用到的损失函数。应用该损失函数时，需要先对训练语料中每一个词汇及其上下文生成一定数量的负例。其中，对训练预料中的某个词汇而言，该词及其上下文词汇之外的任一个词都可以是一个负例。一般地，上述负例根据训练语料的词汇分布随机采样，该词汇分布例如采用词频表近似表示。

常规技术中，在使用负例时对相应词汇生成负例。具体地，将词汇分布(如词频表)映射到一个区间上，生成区间内的数值，从而查找相对应的词汇作为负例。在训练预料中的字典中词汇较多(例如数亿级别)，需要负例数量较大的情况下，希望能有改进的方案，减少采样的时间，从而能够快速有效地进行负例采样。

发明内容

本说明书一个或多个实施例描述了一种方法和装置，在训练预料中的字典中词汇较多(例如数亿级别)，需要负例数量较大的情况下，可以减少采样的时间，从而能够快速有效地进行负例采样。

根据第一方面，提供了一种针对训练语料从词频表中进行负例采样的方法，所述词频表包括多个备选词汇和各个备选词汇在所述训练语料中的出现频率，所述方法包括：

从所述多个备选词汇的未采样词汇集合中获取当前词汇，以及当前词汇对应的出现频率；

获取针对所述未采样词汇集合确定的剩余采样个数和剩余采样概率；

基于所述当前词汇对应的出现频率和所述剩余采样概率，确定当前采样概率；

根据所述当前词汇在所述剩余采样个数和所述当前采样概率条件下的二项分布，确定所述当前词汇被采样次数；

将所述当前词汇按照所述被采样次数添加到负例集中；

根据所述当前词汇被采样次数更新所述剩余采样个数，并根据所述当前词汇对应的出现频率更新所述剩余采样概率，用于对所述词频表中的其他备选词汇进行采样，直到检测到预定条件得到满足。

在一个实施例中，基于所述当前词汇对应的出现频率和所述剩余采样概率，确定当前采样概率包括：将所述当前采样概率确定为，所述当前词汇对应的出现频率与所述剩余采样概率的比值。

根据一个实施例，所述确定所述当前词汇被采样次数包括：

模拟执行所述剩余采样个数次的采样操作，其中，在各次采样操作中，所述当前词汇被采样到的概率为所述当前采样概率；

确定所述被采样次数为，所述当前词汇在所述剩余采样个数次的采样操作中被采样到的次数。

在一个实施方式中，根据所述当前词汇被采样次数更新所述剩余采样个数包括：将剩余采样个数更新为，所述剩余采样个数与所述被采样次数的差。

进一步地，在一个实施例中，所述预定条件包括：所述负例集中的负例个数达到预设数目；或者更新后的剩余采样个数为零；或者所述未采样词汇集合为空。