[发明专利]一种引入多路选择融合机制的多标签长文本分类方法

权利要求书

1.一种引入多路选择融合机制的多标签长文本分类方法，其特征在于，包括以下步骤:

S1.将训练数据集中的标题数据和描述数据拼接得到长文本数据，然后将长文本数据按照比例划分训练集、验证集和测试集；

S2.将训练集的长文本数据进行去低频词后建立编码器所需的词表，以及建立解码器所需的类别标签的词表，将标签序列前面加上序列起始符号得到解码器的输入，将标签序列后面加上序列结束符号得到解码器的输出，将长文本和对应的两个标签序列根据各自的词表分别映射为序号形式的模型输入和标签；

S3-1.将输入和标签输入转换器模型，转换器模型包括编码器端和解码器端，解码器端在解码的每一步开始前的待解码的数据，通过点积、加性注意力和乘性注意力三种配分函数并行的选取编码序列中和当前解码状态最相关的一半序列，将注意力权重和编码序列进行加权求和后得到三个向量h₁、h₂、h₃；

S3-2.将三个向量h₁、h₂、h₃通过两个融和函数r₁和r₂，将向量进行融合，得到最终用于解码的向量c；融合的公式为：

c＝(1-r₂)*((1-r₁)*h₁+r₁*h₂)+r₂*h₃

r₁＝σ(W₁h₁+U₁h₂)；r₂＝σ(W₂c₂+U₂h₃)；

其中，W₁、U₁、W₂、U₂为随机初始化的参数；c₂ 为用于解码的第二向量；σ为融合特征关系符；

S3-3.将解码的向量通过公式(1)得到模型预测的类别标签序列；

m为解码器堆栈总层数

其中，l为当前解码器堆栈层数，c_l为第l层解码器堆栈的输出，W_d为随机初始化的向量，p(u)表示模型预测的各个类别标签的概率分布；

S3-4.将模型预测的类别标签序列和真实的类别标签序列进行计算交叉熵损失L_ml，然后通过反向传播算法计算损失对参数的偏导数得到参数的更新量后更新模型参数，直至交叉熵损失L_ml的变化范围幅值小于或等于0.2时，模型收敛对应的模型参数为最终训练模型；

S4.运用最终训练模型将长文本生成类别标签序列。

2.如权利要求1所述的一种引入多路选择融合机制的多标签长文本分类方法，其特征在于，还包括：

数据选择的过程：选取待解码的数据和当前解码状态最相关的一半序列，当一半数字出现余数时采用向上取整得到，其余序列加上负无穷，使得softmax后加上负无穷的序列的位置的注意力权重为0，实现只对选择的相关度高的部分序列分配注意力权重。