[发明专利]一种基于词对非对称共现的词向量表示学习方法

摘要

本发明属于自然处理领域，具体是一种基于词对非对称共现的词向量表示学习方法。包括以下步骤。S100～从语料库统计出词表；从给定语料库统计每个词出现的次数，按照频次从高到低排序，S200～依次遍历语料库中的词语，统计出左侧共现矩阵和右侧共现矩阵，表示为XL和XR，S300～设置模型超参数，采用Glove模型的目标函数，分别用XL和XR训练出词语的左侧低维向量表示VL和右侧低维向量表示VR，将它们拼接在一起得到词语的低维向量表示V=[VL，VR]。本发明采用并行计算的方法同时以两种共现矩阵训练词向量，大幅减少了程序的运行时间。

主权项

1.一种基于词对非对称共现的词向量表示学习方法，其特征在于：包括以下步骤，S100～从语料库统计出词表；从给定语料库统计每个词出现的次数，按照频次从高到低排序，c_i表示第i个词，f_i表示第i个词的频次，1≤i≤n，n为语料库中不同的词语个数；S200～设定固定窗口大小为w，依次遍历语料库中的词语，统计出左侧共现矩阵和右侧共现矩阵，表示为X^L和X^R，两个矩阵的大小都为n×n；矩阵的行为词表中的每个词的序号，列也为词表中的每个词的序号，用表示c_i、c_j第k次共现时在语料中的位置。S300～设置模型超参数，采用Glove模型的目标函数，分别用X^L和X^R训练出词语的左侧低维向量表示V^L和右侧低维向量表示V^R，将它们拼接在一起得到词语的低维向量表示V＝[V^L，V^R]。