[发明专利]一种融合上下文信息图卷积的中文短文本分类方法

权利要求书

1.一种融合上下文信息图卷积的中文短文本分类方法，其特征在于：包括如下步骤：

1)输入一个未分类的文本数据集，对其进行预处理，得到预处理后的数据集；

2)将预处理后的数据集送入BERT模型得到字向量；

3)计算节点之间的点互信息量PMI，为每个文本单独构建邻接矩阵；

4)将步骤2)得到的字向量输入至BiLSTM模型中，获得特征向量h_Bilstm，h_Bilstm为BiLSTM的输出，富含文本上下文语义信息，同时也将步骤2)得到的字向量和步骤3)构建的邻接矩阵输入至图卷积模型中获得特征向量h_GCN，h_GCN为图卷积的输出，包含文本的结构信息；

5)对h_Bilstm和h_aCN进行特征融合得到融合上下文信息的特征矩阵h_BGCN，h_BGCN再通过图卷积层，最后通过全连接层实现降维；

6)利用分类器对降维后的特征向量进行分类。

2.根据权利要求1所述的一种融合上下文信息图卷积的中文短文本分类方法，其特征在于：步骤1)所述预处理包含去重、去非中文部分、删除停用词、去除乱码。

3.根据权利要求1所述的一种融合上下文信息图卷积的中文短文本分类方法，其特征在于：步骤2)包括如下步骤：

2.1)利用已经训练好的BERT模型将步骤1)预处理后的数据集进行以字为单位的分词，得到固定长度的向量，所有固定长度的向量组成向量集；

2.2)将向量集输入token层、segment层、position层得到字向量编码、句子编码和位置编码；

2.3)将字向量编码、句子编码和位置编码聚合输入到BERT的双向transformer中得到字向量序列，也作为图卷积的初始特征矩阵。

4.根据权利要求1所述的一种融合上下文信息图卷积的中文短文本分类方法，其特征在于：步骤3)具体为：

根据步骤1)预处理后的数据集中的每个字出现情况和整个语料库中的字共现情况在节点之间建立边，使用一种关联度量即计算节点之间的点互信息量PMI：

PMI(x；y)表示节点x和y的关联度，计算步骤1)预处理后的数据集的一条文本中x和y的概率分布采用的是滑动窗口的计算公式，即使用一个固定长度的滑动窗口在文本上滑动，统计滑动窗口中字出现的次数，记录滑动窗口总数目，通过节点在滑动窗口中单独出现的次数，以及共现的次数计算他们的概率分布：

其中，#W为滑动窗口的总数目，#W(x)为x出现在滑动窗口的次数，#W(x，y)为共同出现在滑动窗口的次数，P(x)为节点x出现在滑动窗口的概率，P(y)为节点y出现在滑动窗口的概率，P(x，y)为节点x和y共同出现在滑动窗口的概率，PMI大于0则认为两个节点有连接，有连接就构建邻接矩阵，具体的邻接矩阵A_x，y定义为：

5.根据权利要求1所述的一种融合上下文信息图卷积的中文短文本分类方法，其特征在于：步骤5)中将通过BiLSTM和GCN模型得到的特征向量h_Bilstm和h_GCN进行融合：

h_BGCN＝Concat(h_BiLSTM，h_GCN)。

6.根据权利要求1所述的一种融合上下文信息图卷积的中文短文本分类方法，其特征在于：步骤6)利用softmax层对步骤5)降维后的特征向量进行概率计算，输出预测概率p＝{p₁，p₂，...p_n}，n表示分类的总数，p_i，i＝1，2，...，n，将概率最大p_i的分类确定为该文本的类别。