[发明专利]基于CNN-SVM-KNN组合模型的文本分类方法

权利要求书

1.基于CNN-SVM-KNN组合模型的文本分类方法，其特征在于：所述方法具体过程为：

步骤1：文本预处理；

步骤2：对步骤一预处理后的文本进行特征提取，得到特征提取后的文本；

步骤3：基于步骤2建立CNN模型；

步骤4：建立CNN-SVM模型；

步骤5：建立CNN-KNN模型；

步骤6：设定区分阈值d；

步骤7：计算距离：

计算待分类的样本点到CNN-SVM分类器最优的分类面距离tmp；

步骤8：比较距离：

当tmp＞d时，选择CNN-SVM分类器；否则，选择CNN-KNN分类器；

步骤9：重复执行步骤6至步骤9，寻找评价指标最优的d值。

2.根据权利要求1所述基于CNN-SVM-KNN组合模型的文本分类方法，其特征在于：所述步骤1中文本预处理；具体过程为：

英文文本预处理过程为：

(1)将大写字母转换成小写；

(2)去除停用词；

(3)词形还原；

(4)分词：将所有的标点符号利用空格来进行替换，完成分词以及去标点符号的操作；

中文文本预处理过程为：

分词：选取分词工具jieba完成分词。

3.根据权利要求1或2所述基于CNN-SVM-KNN组合模型的文本分类方法，其特征在于：所述步骤2中对步骤一预处理后的文本进行特征提取，得到特征提取后的文本；具体过程为：

特征选择，是从B个特征中选择b个特征出来，b<B，其他的B-b个特征被舍弃。

4.根据权利要求3所述基于CNN-SVM-KNN组合模型的文本分类方法，其特征在于：所述步骤3中基于步骤2建立CNN模型；具体过程为：

CNN模型由输入层，卷积层，池化层，全连接层以及输出层构成；

步骤2进行特征提取后的文本从输入层进入，通过第一层卷基层、第一层池化层、第二层卷基层、第二层池化层的互相叠加提取特征，再经过全连接层进行整合特征，最后在输出层输出结果；

A、CNN模型的输入层具体的构建过程如下：

(1)首先将步骤2进行特征提取后的文本与编码相对应，形成句子向量；

(2)将句子中的词语经过训练转换为词向量矩阵；过程为：

将句子中的词语转换成一个M×Dim的矩阵；

其中，矩阵的每一行表示一个词语；Dim表示词向量的维度；M表示每一个句子最大的序列长度，将每一个单词的编码与其相应的词向量进行映射，构成了每一个句子相应的词向量矩阵；

B、CNN模型的卷积层具体的构建过程如下：

(1)局部感知野

移动步长若设为1，卷积核的长度设为f，则卷积计算由上至下进行滑动，最终得到M-(f-1)个神经元；卷积的计算公式如式(1)所示：

其中，r为卷积核的个数，F为卷积核总数，表示卷积层中第h层的输出，表示第h层与第h-1层连接的权重，表示第h-1层的特征向量，b为卷积层的偏置项，g为非线性激活函数；

卷积层中参加计算的参数个数par_conv如式(2)所示：

par_conv＝(in_conv×f+1)×out_conv (2)

其中，par_conv表示卷积层中参加计算的参数个数，in_conv表示卷积层输入特征的个数，out_conv表示卷积层输出特征的个数，1表示卷积层的偏置；

(2)权值共享

在局部连接的基础上，每一个特征和下一层神经元通过相同的卷积核连接；

C、CNN模型的池化层具体的构建过程如下：

池化称为下采样层，采用最大池化，平均池化、全局最大池化或者全局平均池化法，对卷积层得到的特征进一步提取；

D、CNN模型的全连接层具体的构建过程如下：

全连接层整合来自卷积层和池化层的特征；全连接层选择ReLu作为激活函数；

全连接层作为CNN模型的最后一层，也称为softmax层，若输入为a，a_i表示a中的第i个元素，a_j表示a中的第j个元素，n表示a中元素总数，c为所有的输出元素，则a元素的softamx值即为：

为了衡量实际输出和预测输出的接近程度，则采用交叉熵损失函数，公式如式(4)所示：

其中，E表示交叉熵损失函数，y_i表示标签，R_i表示交叉熵损失函数的输入；

其中，当交叉熵损失函数的输入R_i＝S_i时，此时的交叉熵函数就表示为softmax loss；此时的标签y_i＝[0,0,1,0,...,0]，当标签的有效值为1的时候，即式(4)简化变为式(5)：