[发明专利]一种基于频次分布校正的低维词表征学习方法

权利要求书

1.一种基于频次分布校正的低维词表征学习方法，其特征在于，包括：

根据给定的语料C，生成词表V；其中，词表V是语料C中出现的不同词的全部集合；

设定窗口值L，统计由词表V中的所有词对w_i，w_j在语料中的共现频次X_ij，并计算每一词对w_i，w_j的共现频次X_ij的降序值；

计算幂指数参数β，计算公式如公式(1)；

r_ij表示词对w_i，w_j的共现频次X_ij的降序值，即将所有X_ij按照从大到小的次序排列，计算出相应的序值，|X|表示非零的共现频次的个数；

使用(logX_ij)^β代替GloVe模型中的logX_ij，得到目标函数如公式(2)所示；

其中v_i和分别表示词对w_i，w_j中w_i和w_j的低维词表征，b_i和为v_i和对应的偏置项，f(X_ij)为加权函数，根据词对的共现频次对目标函数中的每一求和项进行加权；

学习得到每个低维词表征向量v_i，以及|V|*d大小的词表征矩阵，其中，|V|表示词表的大小，d表示词表中的词对应的低维词表征在词表征矩阵中的实值向量的维度。