[发明专利]针对训练语料从词频表中进行负例采样的方法及装置

摘要

本说明书实施例提供一种针对训练语料从词频表中进行负例采样的方法和装置，根据该方法，首先从词频表获取一个备选词汇作为当前词汇，并获取剩余采样个数，剩余采样概率和当前采样概率，基于当前词汇在剩余采样个数和当前采样概率条件下的二项分布，确定当前词汇被采样次数，然后将当前词汇按照被采样次数添加到负例集中。由于对一个当前词汇执行以上步骤的情况下，可以添加被采样次数的当前词汇到负例集，使总体的负例采样次数减少，从而减少负例采样的时间，进而能够快速有效地进行负例采样。

主权项

1.一种针对训练语料从词频表中进行负例采样的方法，所述词频表包括多个备选词汇和各个备选词汇在所述训练语料中的出现频率，所述方法包括：从所述多个备选词汇中的未采样词汇集合中获取当前词汇，以及当前词汇对应的出现频率pi；获取针对所述未采样词汇集合确定的剩余采样个数s和剩余采样概率r；基于所述当前词汇对应的出现频率pi和所述剩余采样概率r，确定所述当前词汇对应的当前采样概率P；根据所述当前词汇在所述剩余采样个数s和所述当前采样概率P条件下的二项分布，确定所述当前词汇被采样次数b；将所述当前词汇按照所述被采样次数b添加到负例集中；根据所述被采样次数b更新所述剩余采样个数s，并根据所述当前词汇对应的出现频率pi更新所述剩余采样概率r，用于对所述词频表中的其他备选词汇进行采样，直到检测到预定条件得到满足。