[发明专利]基于点互信息的词向量模型和基于CNN的文本分类方法

权利要求书

1.基于点互信息的词向量模型和基于CNN的文本分类方法，其特征在于包括：

(S1)通过基于点互信息的全局词向量方法训练词向量模型；具体包括：

(1)输入中文维基百科数据集，对数据进行预处理，去除标点符号及空格；

(2)用中文分词工具对步骤(1)得到的数据集进行分词处理，将语料数据转化成词语序列；

(3)对步骤(2)得到的词进行词频统计，并将统计结果保存在硬盘中；

(4)对步骤(2)得到的词进行共现统计，按照设定的窗口大小对语料进行遍历，得到每两个词在窗口内的共现次数，并将结果以三元组的形式保存在硬盘中；

(5)对步骤(4)得到的三元组进行随机打乱，将随机打乱后的三元组保存在硬盘中；

(6)对步骤(2)中出现的所有词语，随机初始化词向量，并保存在内存中，方便程序读取和修改；

(7)对步骤(5)中得到的三元组进行完整的遍历，按照目标函数：对词向量使用梯度下降法进行调整，目标函数中w_i和分别为中心词和上下文词对应的词向量，V表示词表中的所有词向量，

(8)不断地重复迭代步骤(7)，直到结果收敛，即得到基于点互信息的词向量，将内存中的词向量保存在硬盘中；

于步骤(5)到步骤(8)中，对于拥有相似上下文的两个词w_i和w_j而言，w_i和w_j之间的关系可以通过与第三个词的关系来体现，对w_i和w_j间关系进行建模得到：

其中，w_i和w_j表示拥有相似上下文的两个中心词，为上下文词向量，而为w_i和共同出现的概率；p(w_i)、代表的分别是w_i出现的概率、出现的概率、w_j和共同出现的概率；

等式1)右边的比值为模型输出，代表想要预测的词语之间的关系；在保持初始模型输出不变的前提下，对初始模型的输入进行简化，以便建立可优化的目标函数；考虑到向量空间具有内在的线性结构，于是将输入函数形式限定为仅受两个中心词向量之差的影响，得到下式：

由于等式2)的右边为标量，通过复杂的线性或非线性变换，将输入向量转化为标量的形式；采用点乘的形式进行向量运算，刻画两词之间的关系，如下式：

为了将等式3)左边转化为比值的形式，结合连续性条件，上述等式左边函数方程的通解形式为F(x)＝e^ax；考虑到能对词向量的范数进行归一化，直接取F(x)＝e^x，则有：

此时再令3)，4)两式中分子分母对应相等，则可得：

即：

进一步有：

由此，对GloVe模型的目标函数进行修改，将原目标函数中的共现次数X_ik替换为点互信息

GloVe模型的目标函数：

即新的目标函数为词向量模型的最终目标函数：

经过梯度下降法训练后得到目标词语的词向量即为w_i，那么对每一个词语重复进行最终目标函数的运算即可得到所有词语的词向量；

(S2)根据训练好的词向量模型，确定所述文本的词向量矩阵；

(S3)通过卷积神经网络CNN提取词向量矩阵中的特征，并训练分类模型；(S4)根据训练好的词向量模型和CNN特征提取模型对输入文本特征提取；

(S5)根据CNN特征提取模型获取的文本特征，通过softmax和交叉熵方法计算文本与预设类别的映射距离，取距离最近的为文本对应类别。