[发明专利]基于卷积神经网络的高精度文本分类方法和系统

权利要求书

1.基于卷积神经网络的高精度文本分类方法，其特征在于，包括以下步骤：

步骤1：对文本数据预处理：即将本文数据集格式转为统一格式并对其进行分词和停用词处理，得到预处理后的语料库；

步骤2：基于语料库构建词的共现矩阵，然后基于共现矩阵和GloVe模型学习词向量矩阵；

步骤3：构建文本分类卷积神经网络模型基于词向量矩阵训练文本分类卷积神经网络模型；

步骤4：基于测试集数据验证卷积神经网络模型并优化，最终确定文本分类卷积神经网络模型。

2.根据权利要求1所述的文本分类方法，其特征在于，步骤1所述对文本数据预处理的具体方法如下：

读取数据集，采用字符串匹配的分词算法、正向最大匹配法、逆向最大匹配法和最少切分方法；通过正则匹配去除文本中的无用字符；

统一数据集文本编码方式为utf-8。

3.根据权利要求1所述的文本分类方法，其特征在于，设基于语料库构建词的共现矩阵为X，其元素为X_ij，X_ij表示在整个语料库中，单词i和单词j共同出现在一个特定大小的窗口的次数。

4.根据权利要求3所述的文本分类方法，其特征在于，基于共现矩阵和GloVe模型学习词向量矩阵的方法包括以下步骤：

S01：根据两个单词在上下文窗口的距离d，构建衰减函数f，所述衰减函数f的表达式如下：

decay＝1/d，

其中decay为词的权重，d为两个单词在上下文窗口的距离d；

S02：构建GloVe模型的损失函数；

S03：基于共现矩阵输出训练好的词向量矩阵。

5.根据权利要求4所述的文本分类方法，其特征在于，所述GloVe模型的损失函数如下：

其中v_i，v_j是单词i和单词j的词向量，b_i，b_j是两个标量，f是权重函数，N是词汇表的大小，共现矩阵维度为N*N。

6.基于卷积神经网络的高精度文本分类系统，其特征在于，包括：

数据预处理模块，用于将本文数据集格式转为统一格式并对其进行分词和停用词处理，得到预处理后的语料库；

词向量矩阵生成模块：基于语料库构建词的共现矩阵，然后基于共现矩阵和GloVe模型学习词向量矩阵；

文本分类卷积神经网络模型构建模块，用于构建文本分类卷积神经网络模型并基于词向量矩阵训练文本分类卷积神经网络模型；

文本分类卷积神经网络模型验证优化模块：基于测试集数据验证卷积神经网络模型并优化，最终确定文本分类卷积神经网络模型。