[发明专利]一种基于频次分布校正的低维词表征学习方法

摘要

本发明公开了一种基于频次分布校正的低维词表征学习方法，对给定的语料，统计出设定窗口内词对的共现频次，通过对共现频次的对数值进行适当的幂次变换，根据语料自适应地优选幂次变换中的幂指数参数值，先将词对共现频次的分布校正为Zipf分布，再通过GloVe模型学习得到低维的词表征向量，实验证明得到的词表征有更高的精度，同时训练速度也更快。通过本发明，可以生成精度更高的低维词表征。

主权项

1.一种基于频次分布校正的低维词表征学习方法，其特征在于，包括：根据给定的语料C，生成词表V；其中，词表V是语料C中出现的不同词的全部集合；其中，设定窗口值L，统计由词表V中的所有词对在语料中的共现频次Xij，并计算每一词对的共现频次Xij的降序值；计算幂指数参数β，计算公式如公式1；rij表示词对的共现频次Xij的降序值，即将所有Xij按照从大到小的次序排列，计算出相应的序值，|X|表示非零的共现频次的个数；使用(logXij)β代替GloVe模型中的logXij，学习得到每个低维词表征向量vi，以及|V|*d大小的词表征矩阵。