[发明专利]基于深度学习的文本分类方法

说明书

本发明提供了一种基于深度学习的文本分类方法，该方法首先对带标签的文本数据进行清洗、划分；然后将文本序列映射为词向量序列S；并将S输入到多注意力神经网络(MANN)中得到文本向量S_w。最后，将句子S_w输入到前馈神经网络(FNN)分类器得到文本类别。模型按照预设的超参数训练模型，根据模型在验证集上的表现选取最优的模型。实验结果显示，该模型取得了较好的分类精度。

技术领域

本发明涉及一种基于深度学习的文本分类方法。

背景技术

文本分类在信息处理中占据着重要的地位，随着互联网的发展海量的文本数据不断产生，这些文本数据中存在着大量的信息，利用有效的方法对这些信息进行有效的管理和提取对企业和社会信息技术发展有着重大作用。

目前，深度学习技术被广泛的应用在文本分类任务上。具体来说，Kim等人将CNN应用在文本分类任务上，利用卷积层获取局部的文本信息。但卷积网络无法很好的利用文本的序列信息。之后人们将RNN以及在RNN基础上改进的LSTM网络应用在文本分类任务上取得了更好的分类效果。但是，由于循环神经网络顺序处理词序列的特点，使得基于RNN的模型并行计算困难。

发明内容

本发明的目的在于提供一种基于深度学习的文本分类方法。

为解决上述问题，本发明提供一种基于深度学习的文本分类方法，包括：

步骤1：对带文本标签的文本数据进行清洗，然后将清洗后的带标签的文本数据划分为训练数据集和验证集；

步骤2：将训练数据集合和验证集的文本中的单词替换成单词编号，以分别形成训练数据集合对应的单词索引序列和验证集对应的单词索引序列；

步骤3：构建词向量矩阵；

步骤4：基于所述词向量矩阵，将分别将训练数据集和验证集对应的单词索引序列映射为训练数据集和验证集对应的词向量序列S；

步骤5：将训练数据集对应的词向量序列S输入多注意力神经网络模型，以获取输出的文本向量S_w；

步骤6：将所述文本向量S_w输入到前馈神经网络中，以获取输出的文本类别概率向量；

步骤7：基于所述文本数据的文本标签得到文本标签向量，根据所述文本类别概率向量和文本标签向量，计算损失函数，并使用批量梯度下降算法优化所述损失函数，基于优化后的损失函数对注意力神经网络和前馈神经网络的模型参数进行调整，以得到优化后的模型；

步骤8：将验证集对应的词向量序列S输入所述优化后的模型，基于所述优化后的模型的输出选取最优的模型作为最终的模型；

步骤9：基于所述最终的模型对待分类的文本进行分类。

进一步的，在上述方法中，对带文本标签的文本数据进行清洗，包括：

去除多余的符号，只保留标点符号、单词，并将文本标签用one-hot向量表示。

进一步的，在上述方法中，步骤2：将训练数据集合和验证集的文本中的单词替换成单词编号，包括：

按照训练数据集中单词出现的频率分别为训练数据集中的单词进行编号，将训练数据集的文本中的单词替换成单词编号，其中，对于训练数据集中的前num个频率最高的单词，单词编号为该单词出现的频率对应的编号；对于编号大于num的单词，单词编号为0，num为正整数；

按照验证集中单词出现的频率分别为验证集中的单词进行编号，将验证集的文本中的单词替换成单词编号，其中，对于验证集中的前num个频率最高的单词，单词编号为该单词出现的频率对应的编号；对于编号大于num的单词，单词编号为0。