[发明专利]一种融合上下文信息图卷积的中文短文本分类方法

说明书

本发明提供一种融合上下文信息图卷积的中文短文本分类方法，属于文本分类技术领域。通过引入双向长短时记忆网络(BiLSTM),提出了BERT_BGCN短文本分类模型。本发明首先利用BERT对文本信息进行编码作为图节点的特征值；然后通过全局共享的点互信息量(PMI)关系作为节点间的边为每个文档构建一个单独的文本图；接着聚合图卷积网络和BiLSTM的输出形成融合上下文信息的特征矩阵输入到下一层的图卷积网络；最后输出到全连接层得到最终分类结果。本发明提出的文本分类方法可以弥补短文本中存在的特征稀疏问题，提高了中文短文本分类的准确性。

技术领域

本发明涉及文本分类技术领域，具体涉及一种融合上下文信息图卷积的中文短文本分类方法。

背景技术

随着电子设备的普及和电商平台的崛起，海量用户在网上购物，商品评论文本急剧增加，如何对这些文本进行科学有效的分类管理成为热点研究问题之一。评论文本的正确分类可以影响用户的购买行为，同时也对商家和电商平台的营销决策起重要作用。

传统的CNN和RNN模型在处理非欧几里得数据时效果不佳，所以引入图卷积模型解决评论文本分类问题。评论文本一般不超过150个字符属于短文本的行列。由于GCN只聚合直接相邻节点的信息，在短文本中忽略了非常有用的词节点表示和词序中的语义信息，要想获得距离较长的上下文关系只有利用增加图卷积层数来解决。但经研究发现，GCN层数过多会导致极高空间复杂度的出现，使节点表征能力减弱。而且网络层数的增加也会使节点信息过度平滑，不利于文本分类。为了克服文本中上下文相关信息缺失的问题。

发明内容

本发明针对中文短文本特征提取中存在语义特征稀疏和上下文信息匮乏的问题，提供一种融合上下文信息图卷积的中文短文本分类方法，以提高对中文短文本分类的准确率。

本发明采用的技术方案是：一种融合上下文信息图卷积的中文短文本分类方法，包括如下步骤：

1)输入一个未分类的文本数据集，对其进行预处理，得到预处理后的数据集；

2)将预处理后的数据集送入BERT模型得到字向量；

3)计算节点之间的点互信息量PMI，为每个文本单独构建邻接矩阵；

4)将步骤2)得到的字向量输入至BiLSTM模型中，获得特征向量h_Bilstm，h_Bilstm为BiLSTM的输出，富含文本上下文语义信息，同时也将步骤2)得到的字向量和步骤3)构建的邻接矩阵输入至图卷积模型中获得特征向量h_GCN，h_GCN为图卷积的输出，包含文本的结构信息；

5)对h_Bilstm和h_GCN进行特征融合得到融合上下文信息的特征矩阵h_BGCN，h_BGCN再通过图卷积层，最后通过全连接层实现降维；

6)利用分类器对降维后的特征向量进行分类。

具体地，步骤1)所述预处理包含去除重复部分、去非中文部分、删除停用词、去除乱码部分。

具体地，所述的步骤2)包括如下步骤：

2.1)利用已经训练好的BERT模型将步骤1)预处理后的数据集进行以字为单位的分词，得到固定长度的向量，所有固定长度的向量组成向量集；

2.2)将向量集输入token层、segment层、position层得到字向量编码、句子编码和位置编码；

2.3)将字向量编码、句子编码和位置编码聚合输入到BERT的双向transformer中得到字向量序列，也作为图卷积的初始特征矩阵。

具体地，所述的步骤3)包括如下步骤：