[发明专利]基于点互信息的词向量模型和基于CNN的文本分类方法

摘要

本发明公开基于点互信息的词向量模型和基于CNN的文本分类方法。该方法包括：（1）通过基于点互信息的全局词向量方法训练词向量模型；（2）根据训练好的词向量模型，确定所述文本的词向量矩阵；（3）通过CNN提取词向量矩阵中的特征，并训练分类模型；（4）根据训练好的词向量模型和CNN特征提取模型对输入文本特征提取；（5）根据CNN特征提取模型获取的文本特征，通过softmax和交叉熵方法计算文本与预设类别的映射距离，取距离最近的为文本对应类别。该方法克服了Glove词向量在语义捕捉和统计共现矩阵上的不足，降低模型训练复杂度，能够准确地挖掘出文本的分类特征，适用于各种领域的文本分类，具有极大的实用价值。

主权项

1.基于点互信息的词向量模型和基于CNN的文本分类方法，其特征在于包括：/n(S1)通过基于点互信息的全局词向量方法训练词向量模型；具体包括：/n(1)输入中文维基百科数据集，对数据进行预处理，去除标点符号及空格；/n(2)用中文分词工具对步骤(1)得到的数据集进行分词处理，将语料数据转化成词语序列；/n(3)对步骤(2)得到的词进行词频统计，并将统计结果保存在硬盘中；/n(4)对步骤(2)得到的词进行共现统计，按照设定的窗口大小对语料进行遍历，得到每两个词在窗口内的共现次数，并将结果以三元组的形式保存在硬盘中；/n(5)对步骤(4)得到的三元组进行随机打乱，将随机打乱后的三元组保存在硬盘中；/n(6)对步骤(2)中出现的所有词语，随机初始化词向量，并保存在内存中，方便程序读取和修改；/n(7)对步骤(5)中得到的三元组进行完整的遍历，按照目标函数：