[发明专利]一种基于深度聚类的文本分类算法

权利要求书

1.一种基于深度聚类的文本分类算法，其特征在于：包括如下步骤：

步骤1，获取中文新闻文本数据THUCNews，并取其中十个分类，包括体育、财经、房产、家居、教育、科技、时尚、时政、游戏以及娱乐，将新闻文本数据和类别标签数据分为训练集、验证集及测试集，并保存在文本文件中；

步骤2，采用BERT预训练模型对前述步骤中获得的文本数据进行词嵌入，并使用不同的向量表示文本中的每一个字；

步骤3，将步骤2中获得的文本矩阵作为卷积神经网络CNN的输入，使用CNN实现文本内容局部特征的提取，所得的局部特征向量为C_E；

步骤4，再将步骤2中获得的文本矩阵作为双向长短期记忆网络BiGRU的输入，使用BiGRU实现文本上下文语境特征的提取，所得的语境特征向量为G_E；

步骤5，将步骤3和步骤4中分别获得的C_E和G_E进行向量拼接融合，得到融合后的特征；

步骤6，将步骤5中获得的融合后的特征加载至K-means聚类模型中，并得到最终聚类结果。

2.根据权利要求1所述的基于深度聚类的文本分类算法，其特征在于：所述步骤1中，获取的中文新闻文本数据，需去除文本中的噪声，所述噪声包括无实际意义的字符及多余的空格符。

3.根据权利要求1所述的基于深度聚类的文本分类算法，其特征在于：所述步骤2中，

步骤2.1，将步骤1中处理完成的文本作为BERT模型的输入，基于transformer模型的双向编码表示作为向量特征提取表示；

步骤2.2，对新闻文本数据集进行分词处理，在每条文本数据的开头连接CLS标记；

步骤2.3，对分词后的文本数据进行embedding向量化表示，得到CLS语义编码向量。

4.根据权利要求2所述的基于深度聚类的文本分类算法，其特征在于：所述步骤2.1中，BERT模型的输入为线性序列，不同的句子之间采用分隔符分割，并在每个句子的开头和末尾增加两个标识符号；对于每一个标记，表征由其对应的标记表征、段表征和位置表征拼接而成，三种嵌入具体为：标记表征是词向量，第一个单词是CLS，该标志便于后续分类任务；段表征用来区别两种句子，因为预训练要完成以不同句子为输入的分类任务；位置表征为位置嵌入，通过学习得出不同单词在文本中的位置。

5.根据权利要求2所述的基于深度聚类的文本分类算法，其特征在于：所述步骤2.1中，在Transformer中利用多头注意力机制充分挖掘高层语义特征，输入矩阵Q、K、V对应注意力计算的三个重要组件，分别为query,key和value,d_k为矩阵的维度，之后再分别使用注意力机制将结果拼接起来，最后使用投影输出；多头注意力机制的计算过程如下：

在多头注意力机制中，使模型在不同表示空间中学习到更多的相关信息，其中第i头注意力计算过程如下：

6.根据权利要求1所述的基于深度聚类的文本分类算法，其特征在于：所述步骤3中，

步骤3.1，获取步骤2中BERT模型预训练后所得到的文本向量矩阵CLS；

步骤3.2，将文本向量矩阵CLS输入进卷积层中进行局部特征提取，用三个不同尺寸的卷积核分别卷积两次，从而得到六个特征向量；其中，卷积核由多个元素组成，这些元素与权重系数、偏差量一一对应；

步骤3.3，池化层通过对文本特征向量的局部区域进行下采样操作，将最有用的特征信息保留下来，剔除特征提取过程中多余的数据；

步骤3.4，经过卷积层和池化层的特征提取后，全连接层对提取的特征进行非线性组合再输出，按照输出层的具体任务，有目的性地对深层文本特征向量矩阵进行映射，完成最终归一化地文本特征向量输出。