[发明专利]一种基于生成式多任务学习模型的文本分类方法

权利要求书

1.一种基于生成式多任务学习模型的文本分类方法，其特征在于，包括如下步骤：

S1.对训练集中的各文本语料按照多标签分类和层次分类分别进行标定各自构建真实标签集；

S2.基于多任务学习机制构建多任务分类模型，通过训练集根据共享编码器进行编码，根据多标签分类任务和层次分类任务交替对所述多任务分类模型进行解码并得到训练分类标签，包括：

S2.1.文本语料经预处理得到词嵌入矩阵，词嵌入矩阵中输入共享编码器，共享编码器利用双向长短记忆模型，根据词嵌入矩阵中对应当前时刻词嵌入向量以及当前时刻词嵌入向量的历史信息和未来信息得到当前时刻对应的特征向量，每一时刻对应的特征向量组成特征向量序列；

S2.2.将所述特征向量输入多任务分类解码器，根据多标签分类任务和层次分类任务交替解码获得与编码时刻特征向量相关的当前时刻语义特征；

S2.3.根据前一时刻语义特征、前一时刻输出对应完整标签集中标签的词嵌入向量以及前一时刻隐藏向量，获得当前时刻隐藏向量；

S2.4.多标签分类任务根据当前时刻隐藏向量及当前时刻语义特征，层次分类任务根据当前时刻隐藏向量、当前时刻语义特征以及层级结构掩码矩阵，分别获得当前时刻在完整标签集上的概率分布，取最大值作为当前时刻的训练分类标签；

S3.根据训练分类标签和真实标签计算损失值，并采用多标签分类任务和层次分类任务交替训练的方法对模型进行优化训练，获得优化分类模型；

S4.将待测试集的各文本语料输入优化模型获得预测分类标签。

2.如权利要求1所述的一种基于生成式多任务学习模型的文本分类方法，其特征在于，所述S2.2包括：

多任务分类解码器中包括多标签分类注意力机制层和层次分类注意力机制层；

多标签分类注意力机制层解码输出特征向量序列对应的多标签分类任务语义特征序列；

层次分类注意力机制层解码输出特征向量序列对应的层次分类任务语义特征序列；

其中语义特征序列由每一解码时刻按照先后顺序生成的语义特征组成。

3.如权利要求1所述的一种基于生成式多任务学习模型的文本分类方法，其特征在于，所述S2.3中当前时刻隐藏向量获得的方法包括：

S2.31，对多任务分类模型初始化，将多任务注意力机制层处理后得到的语义特征赋值给隐藏层的隐藏向量，并输入至多任务分类模型中的多任务分类器，其中多任务分类器包括多标签分类器和层次分类器，多任务分类器计算当前时刻语义特征在完整标签集上的概率分布，并输出概率最大值对应的分类标签；

S2.32，将前一时刻的输出在完整标签集上的概率分布最大的分类标签、前一时刻的语义特征以及前一时刻的隐藏向量输入至多任务分类模型的长短记忆模型层，得到当前时刻的隐藏层对应的隐藏向量。

4.如权利要求1所述的一种基于生成式多任务学习模型的文本分类方法，其特征在于，所述S2.4中输出当前时刻分类标签的步骤包括：

S2.41，多标签分类任务将当前时刻的语义特征和隐藏向量输入至多标签分类器，多标签分类器计算当前时刻在完整标签集上的概率分布，取最大值作为当前时刻的训练分类标签输出；

S2.42，层次分类任务将当前时刻隐藏向量、当前时刻语义特征以及前一时刻的分类标签输入至层次分类器，层次分类器根据层级结构掩码矩阵结合前一时刻的分类标签对当前时刻输出分类标签的进行层级约束后，层次分类器计算当前时刻在完整标签集上的概率分布，取最大值作为当前时刻的训练分类标签输出。

5.如权利要求4所述的一种基于生成式多任务学习模型的文本分类方法，其特征在于，所述步骤S2.42中层级结构掩码矩阵进行层级约束的步骤包括：

S2.42a，层次分类任务对应的完整标签集按照树形结构组织；

S2.42b，当前时刻的分类标签依赖于之前时刻的训练分类标签信息，层级结构掩码矩阵将当前时刻训练分类标签的搜索范围约束在前一时刻生成的训练分类标签的儿子标签上。