[发明专利]一种基于TextCNN改进的文本分类方法

权利要求书

1.一种基于TextCNN改进的文本分类方法，其特征在于：本方法采用改进后的TextCNN，改进后的TextCNN包括输入层，循环的卷积层与半池化层，全局池化层，输出层；

1)、输入层：通过词向量word embeddings将自然语言中的字词转为计算机理解的稠密向量Dense Vector；假设定义词向量的维度是n，定义句子最大限度包含单词数量为m，构成一张m*n的二维矩阵；

2)、循环的卷积层与半池化层：

(1)等长卷积层：为了保持整个语句的长度不被改变，使用等长卷积；假设卷积核的尺寸为L，将输入语句的每个词位和其左右((L-1)/2)个词的上下文信息压缩为该词位的embedding，产生了每个词位的被上下文信息修饰过的更高级别更加准确的语义；

(2)残差连接：将初始的输入层与等长卷积后的卷积层相加；由于在初始化深度CNN时，往往各层权重都是初始化为一个很小的值，这就导致最开始的网络中，后续几乎每层的输入都是接近0，这时网络的输出没意义，而小权重同时也阻碍梯度的传播，使得网络的初始训练阶段往往要迭代多层才能启动；同时，就算网络启动完成，由于深度网络中仿射矩阵即每两层间的连接边近似连乘，训练过程中网络易发生梯度爆炸或弥散问题；既然每个参加循环的单元即卷积层与半池化层的输入在初始阶段容易是0而无法激活，那么用一条线把初始的输入层的输出层连接到每个循环单元的输入乃至最终的池化层/输出层；这时的残差连接由于连接到了各个循环的单元的输入，当然为匹配输入维度，要先经过对应次数的1/2池化操作；残差连接后，梯度就能够忽略卷积层权重的削弱，从残差连接一路无损的传递到各个循环的单元，直至网络前端，从而缓解梯度消失问题；

(3)半池化层：在池化层每经过一个大小为3，步长为2的池化层，以下简称半池化层，序列的长度就被压缩成了原来的一半；这样，同样是size＝3的卷积核，每经过一个半池化层后，能感知到的文本片段就比之前长了一倍；

(4)循环叠加卷积与半池化：通过增加网络的深度，获得单词与单词之间的特征关系，增加特征维度；随着网络深度的增加抽取长距离的文本依赖关系，从而提高文本分类的准确性；

3)、全局池化层：将以3,4,5个单词为单位分别同时输入到卷积半池化层中进行池化，获取后的向量进行横向相加，增加特征的维度；全连接层存在限制输入维度大小，参数过多的问题；全连接层需将所有特征图转成向量拼接后再全连接；

4)、输出层：该层的输入为全局池化层，经过SoftMax层作为输出层，进行分类；对于多分类问题使用SoftMax层，对于二分类问题使用一个含有sigmoid激活函数的神经元作为输出层。