[发明专利]一种基于图注意力的半结构文本分类方案

权利要求书

1.一种基于图注意力的半结构文本分类方案，其特征在于：它包含以下技术方案步骤：步骤一，文本预处理、数据清洗，形成图矩阵M；步骤二，形成编码层，采用albert预训练模型获取embedding矩阵；步骤三，对embedding矩阵进行attention操作，并基于图矩阵进行加权计算；步骤四，对特征向量矩阵压缩后进行文本分类。

2.根据权利要求1所述的一种基于图注意力的半结构文本分类方案，其特征在于：所述的步骤一文本通常含有大量的噪音数据，首先对文本进行预处理清洗，如全半角转换、英文大小写统一、多个空白字符合并、去停用词等，文本切割，根据文本换行符，以及空格键、逗号分号、Tab键等分割符的判断，将文本数据切割成多个词或短句的形式，判断短句、词在文本中的位置，所处的行、列的位置信息，判断它们的连接关系，采用简单逻辑规则，在水平方向上，一个词与左右的词直接关联，在垂直方向上，如果水平方向处于同一位置，则关联，如此形成如下图4所示的图矩阵M，图矩阵的表达上，本方案采用不同的值表达不同的关联，单行内相邻字符之间的关联用数值1标识，要素之间的关联用2标识，其余未标出的区域均默认设置为0。

3.根据权利要求1所述的一种基于图注意力的半结构文本分类方案，其特征在于：所述的步骤二将文本通过事先在专业语料训练过的预训练模型(此处我们以albert为例进行阐述，也可用其他的预训练模型如bert、xlnet、roberta等替代)，记每个字符对应倒数第i层transformer的输出向量为我们将最后4层transformer的输出进行concatenate拼接，那么每个字符对应的拼接后向量即为这些向量汇集得到embedding矩阵。

4.根据权利要求1所述的一种基于图注意力的半结构文本分类方案，其特征在于：所述的步骤三类似于self-attention，embedding矩阵中对应每个字符的向量作为输入，通过与查询矩阵W_Q、键矩阵W_K、值矩阵W_V相乘得到查询向量键向量值向量其计算公式如下：

对查询向量和键向量计算内积并缩放得到权重λ_ij，对所有权重进行聚合得到初始的权重矩阵Φ，具体地：

随后初始的权重矩阵与图矩阵M相乘得加权后的权重矩阵再与值向量相乘，输出表征向量矩阵X，计算流程为：

针对以上的操作也可以跟transformer一样，进行multi-head化和norm的操作再输出。

5.根据权利要求1所述的一种基于图注意力的半结构文本分类方案，其特征在于：所述的步骤四拿到特征向量矩阵后，通过max或者mean等pooling层，将矩阵降维压缩成向量；再接入全连接层，最后进入softmax层输出分类结果，训练上，在loss function中采取增加惩罚项的方式，防止loss因为模长增大而降低，训练的时候根据业务需求，主要采用recall指标作为metric的方式。