[发明专利]基于深度学习的文本分类方法

权利要求书

1.一种基于深度学习的文本分类方法，其特征在于，包括：

步骤1：对带文本标签的文本数据进行清洗，然后将清洗后的带标签的文本数据划分为训练数据集和验证集；

步骤2：将训练数据集合和验证集的文本中的单词替换成单词编号，以分别形成训练数据集合对应的单词索引序列和验证集对应的单词索引序列；

步骤3：构建词向量矩阵；

步骤4：基于所述词向量矩阵，将分别将训练数据集和验证集对应的单词索引序列映射为训练数据集和验证集对应的词向量序列S；

步骤5：将训练数据集对应的词向量序列S输入多注意力神经网络模型，以获取输出的文本向量S_w；

步骤6：将所述文本向量S_w输入到前馈神经网络中，以获取输出的文本类别概率向量；

步骤7：基于所述文本数据的文本标签得到文本标签向量，根据所述文本类别概率向量和文本标签向量，计算损失函数，并使用批量梯度下降算法优化所述损失函数，基于优化后的损失函数对注意力神经网络和前馈神经网络的模型参数进行调整，以得到优化后的模型；

步骤8：将验证集对应的词向量序列S输入所述优化后的模型，基于所述优化后的模型的输出选取最优的模型作为最终的模型；

步骤9：基于所述最终的模型对待分类的文本进行分类。

2.如权利要求1所述的基于深度学习的文本分类方法，其特征在于，对带文本标签的文本数据进行清洗，包括：

去除多余的符号，只保留标点符号、单词，并将文本标签用one-hot向量表示。

3.如权利要求1所述的基于深度学习的文本分类方法，其特征在于，步骤2：将训练数据集合和验证集的文本中的单词替换成单词编号，包括：

按照训练数据集中单词出现的频率分别为训练数据集中的单词进行编号，将训练数据集的文本中的单词替换成单词编号，其中，对于训练数据集中的前num个频率最高的单词，单词编号为该单词出现的频率对应的编号；对于编号大于num的单词，单词编号为0，num为正整数；

按照验证集中单词出现的频率分别为验证集中的单词进行编号，将验证集的文本中的单词替换成单词编号，其中，对于验证集中的前num个频率最高的单词，单词编号为该单词出现的频率对应的编号；对于编号大于num的单词，单词编号为0。

4.如权利要求3所述的基于深度学习的文本分类方法，其特征在于，构建词向量矩阵，包括：

使用glove预训练词向量或者Word2Vec工具，分别获取训练数据集和验证集中的单词对应的维度为dim的词向量，其中，dim为正整数；

基于训练数据集中的单词对应的维度为dim的词向量，构建训练数据集对应的维度为num*dim的词向量矩阵；

基于训练验证集中的单词对应的维度为dim的词向量，构建训练数据集对应的维度为num*dim的词向量矩阵。

5.如权利要求1所述的基于深度学习的文本分类方法，其特征在于，步骤4：基于所述词向量矩阵，将分别将训练数据集和验证集对应的单词索引序列映射为训练数据集和验证集对应的词向量序列S，包括：

基于所述训练数据集对应的词向量矩阵，并使用词向量初始化模型Embedding层，将训练数据集输入Embedding层，以得到训练数据集对应的词向量序列S；

基于所述验证集对应的词向量矩阵，并使用词向量初始化模型Embedding层，将验证集对应的单词索引序列输入Embedding层，以得到验证集对应的词向量序列S。

6.如权利要求1所述的基于深度学习的文本分类方法，其特征在于，步骤5：将训练数据集对应的词向量序列S输入多注意力神经网络模型，以获取输出的文本向量S_w，

将训练数据集对应的词向量序列S输入多注意力神经网络中，利用词注意力网络学习单词间依赖关系得到文本向量S₁；

利用局部注意力网络学习局部依赖关系得到向量S₂；

最后将S₁和S₂输入到交叉注意力网络中学习局部与单词间的依赖关系得到文本向量S_w。

7.如权利要求1所述的基于深度学习的文本分类方法，其特征在于，步骤7中，所述损失函数计算公式为：

其中，批量大小batch-size＝128，y为文本标签，为类别概率向量。