[发明专利]一种引入多路选择融合机制的多标签长文本分类方法

摘要

本发明提供一种引入多路选择融合机制的多标签长文本分类方法，涉及基于序列到序列架构的多标签长文本分类技术领域。本发明提升基于序列到序列架构完成多标签长文本分类的效果，基于某机器学习挑战赛发布的数据，将标题数据和描述数据拼接得到长文本数据，对于没有描述的数据，复制一份问题当做描述，然后对数据进行去低频词的预处理，得到更为有效的数据，得到的数据采用加入多路选择融合机制的转换器模型对输入的长文本生成标签序列，在解码时有效去除冗余信息。在测试数据下，该模型生成的标签序列比未加入多路选择融合的模型在召回率百分之0.5；精准率和F1值提升了1个百分点的效果。

主权项

1.一种引入多路选择融合机制的多标签长文本分类方法，其特征在于，包括以下步骤：S1.采集数据将训练数据集，将训练数据集中的标题数据和描述数据拼接得到长文本数据，然后将长文本数据按照比例划分训练集、验证集和测试集；S2.数据预处理将训练集的长文本数据进行去低频词后建立编码器所需的词表，建立解码器所需的类别标签的词表，将标签序列前面加上序列起始符号得到解码器的输入，将标签序列后面加上序列结束符号得到解码器的输出，将长文本和对应的两个标签序列根据各自的词表分别映射为序号形式得到模型的输入和标签；S3.模型训练S3‑1.将输入和标签输入转换器模型，转换器模型包括编码器端和解码器端，解码器端在解码的每一步开始前的待解码的数据，通过点积、加性注意力和乘性注意力三种配分函数并行的选取编码序列中和当前解码状态最相关的一半序列，将注意力权重和编码序列进行加权求和后得到三个向量h₁、h₂、h₃；S3‑2.将三个向量h₁、h₂、h₃通过两个融和门r₁和r₂，将向量进行融合，得到最终用于解码的向量；融合的公式为：c＝(1‑r₂)*((1‑r₁)*h₁+r₁*h₂)+r₂*h₃r₁＝σ(W₁h₁+U₁h₂)；r₂＝σ(W₂c₂+U₂h₃)；其中，W₁、U₁、W₂、U₂为随机初始化的参数；S3‑3.将解码的向量通过公式(1)得到模型预测的类别标签序列；m为解码器堆栈总层数其中，l为当前解码器堆栈层数，c_l为第l层解码器堆栈的输出，W_d为随机初始化的向量，p(u)表示模型预测的各个类别标签的概率分布；S3‑4.将模型预测的类别标签序列和转换器模型计算出的真实的类别标签序列进行计算交叉熵损失L_ml，然后通过反向传播算法计算损失对参数的偏导数得到参数的更新量后更新模型参数，直至交叉熵损失L_ml的变化范围幅值小于或等于0.2时，模型收敛，此时的对应的模型参数为最终训练模型。