[发明专利]一种基于注意力机制的多标签文本分类方法及系统

权利要求书

1.一种基于注意力机制的多标签文本分类方法，其特征在于：所述方法包括以下步骤：

S1：获取文本数据集，构建文本的训练数据集合T并对数据集进行预处理；

S2：对文本进行初始化，获得文本嵌入；

S3：利用Bi-LSTM和多标签注意力机制提取文本语义信息；

S4：然后利用图注意力网络GAT来捕获标签之间的依赖关系并且使用标签注意力机制获取文本和标签之间的语义关系；

S5：添加额外的CorNet模块，该模块能够学习标签相关性，使用相关性知识增强原始标签预测，并输出增强的标签预测。

2.根据权利要求1所述的一种基于注意力机制的多标签文本分类方法，其特征在于：所述S1中，预处理包括提取文本内容，去除文本中的英文字符、表情和乱码，对文本进行分句；使用分词工具去除停用词；对数据集进行整理并划分为训练集、验证集和测试集。

3.根据权利要求1所述的一种基于注意力机制的多标签文本分类方法，其特征在于：所述S2具体为：利用Glove预训练嵌入模型对文本进行初始化，获得文本嵌入。

4.根据权利要求1所述的一种基于注意力机制的多标签文本分类方法，其特征在于：所述S3具体为：

S31：为捕获每个单词的前后上下文信息，采用Bi-LSTM语言模型来学习每个输入文档的单词嵌入，并计算每个单词的隐状态：

为获得文档的整体表示，将文档中每个单词的隐状态串联，得到：

S32：一个文档中的单词对每个标签的贡献不同，采用自注意力机制提取最相关的文本语义信息。

A^(s)＝softmax(W₂tanh(W₁H))。

5.根据权利要求书1所述的一种基于注意力机制的多标签文本分类方法，其特征在于：所述S4具体为：

S41：构建标签的邻接矩阵，将标签的邻接矩阵和标签嵌入作为图注意力网络的输入，利用图注意力网络GAT来捕获标签之间的依赖关系。

S42：使用标签注意力机制获取文本和标签之间的语义关系。

6.根据权利要求书1所述的一种基于注意力机制的多标签文本分类方法，其特征在于：所述S5具体为：

添加额外的CorNet模块，将原有的标签预测作为CorNet模块的输入，该模块能够学习标签相关性，使用相关性知识增强原始标签预测，并输出增强的标签预测。

y＝F(x)+x

x,y分别是CorNet模块的输入和输出，F(x)是映射函数，x表示原始标签预测，y表示经过CorNet模块的增强标签预测。

F(x)＝W₂δ(W₁σ(x)+b₁)+b₂

w1,w2是权重矩阵，b1,b2是偏置，σ,δ分别是sigmoid和ELU激活函数。

7.基于权利要求1～6中任一项所述方法的基于注意力机制的多标签文本分类系统，其特征在于：所述系统包括数据集构建与预处理模块、文本初始化模块、获取文本语义信息模块、获取标签间依赖关系模块和标签预测模块；

所述数据集构建与预处理模块与文本初始化模块信号连接；

所述文本初始化模块一端与获取文本语义信息模块信号连接，另一端与标签间依赖关系模块信号连接；

所述文本语义信息模块和标签间依赖关系模块与标签预测模块信号连接。