[发明专利]一种基于卷积神经网络短文本分类方法

说明书

本发明公开一种卷积神经网络的短文本分类方法，包括以下步骤文本表示、卷积处理、池化处理和特征组合；对短文本进行词向量训练，每个单词采用训练好的词向量表示，用词向量表示的单词进行级联能较好地表示出句子的语义特征，经过级联后每个短文本转换成矩阵，作为卷积神经网络的输入来提取短文本的特征值；本发明分类效果好、准确率高，耗时短的优点，具有较高的召回率和F1值。

技术领域

本发明涉及机器学习和数据挖掘领域领域，特别是涉及一种基于卷积神经网络短文本分类方法。

背景技术

随着互联网技术的发展，文本信息作为网络交互主要手段,正源源不断的产生，例如评论、微博、问答等，面对这些大量的短文本信息，高效筛选与分类技术在信息处理中大量使用。然而，目前传统的词袋处理模型，是一种基于向量空间模型的表示方法，句子和文档被看成无序的单词集合，单词不包含语法信息，而且当面对大规模数据集时，很容易产生维度灾难和特征词稀疏问题，最终导致系统性能的降低。因此现在急需一种高效准确的短文本分类方法。

发明内容

本发明的目的是提供一种卷积神经网络的短文本分类方法，以解决上述现有技术存在的问题，实现从短文本中提取更抽象的特征值、单词位置信息和单词间的相关语义信息操作，以此来实现短文本分类的高效准确处理。

为实现上述目的，本发明提供了如下方案：本发明提供一种基于卷积神经网络的短文本分类方法，包括如下步骤：

步骤一、文本表示：采用Word2vec模型对短文本进行词向量训练，每个单词采用训练好的词向量表示，所述词向量表示的单词进行级联能够表示出句子的语义特征，经过级联后每个短文本转换成矩阵，作为卷积神经网络的输入来提取短文本的特征值；

步骤二、卷积处理：对短文本中每个窗口中的单词序列进行卷积操作得到一个特征图，短文本经过一个卷积核形成的特征图，不同的卷积核从不同的角度提取出短文本的特征，通过设置不同的卷积核的个数进而得到多个不同的特征图；

步骤三、池化处理：以池化区域大小为步长来进行扫描采样，而不是连续采样，先将输入的特征图划分为若干个w×h大小的子区域，每个子区域经过池化之后，输出相应池化操作后的值，并取出特征图中每个池化区域中最大特征值；

步骤四、特征组合：通过设置卷积核的个数核池化区域大小，从原始文本中提取包含更多语义信息和位置信息的特征值，然后把所有提取的特征值拼接到一起，形成一个向量，所述向量就是经过卷积神经网络处理后对应于短文本的特征向量；

步骤五、将步骤四中的特征值组成n维向量，将所述n维向量输入到制定分类器中进行分类。

优选的，所述步骤一具体过程为：卷积核用w表示，w∈IR^hk,其中，h表示卷积窗口高度，k表示词向量的维度大学，每经过一个高度为h，宽度为k的词序列窗口就产生一个新的特征值；其中，w_i：h表示一个长度为h单词序列(w_i,w_i+1,…,w_i+h)，w_i表示一个单词，每个特征值c_i的计算公式如下：

c_i＝f(wW_i:i+h+b)

其中，b是卷积层的偏置项，b∈R，操作符(.)表示卷积操作，f(.)是激活函数。优选的，所述步骤二具体过程为：对短文本中每个窗口中的单词序列(w_1：h，w_2：h，…，w_N-h+1：N)进行卷积操作得到一个特征图，所述特征图的计算公式如下：

c＝(c₁，c₂，…，c_N-h+1)

其中，N表示一个短文本中单词的个数，h表示卷积核窗口的高度，c为短文本经过一个卷积核形成的特征图。