[发明专利]一种引入多路选择融合机制的多标签长文本分类方法

说明书

本发明提供一种引入多路选择融合机制的多标签长文本分类方法，涉及基于序列到序列架构的多标签长文本分类技术领域。本发明提升基于序列到序列架构完成多标签长文本分类的效果，基于某机器学习挑战赛发布的数据，将标题数据和描述数据拼接得到长文本数据，对于没有描述的数据，复制一份问题当做描述，然后对数据进行去低频词的预处理，得到更为有效的数据，得到的数据采用加入多路选择融合机制的转换器模型对输入的长文本生成标签序列，在解码时有效去除冗余信息。在测试数据下，该模型生成的标签序列比未加入多路选择融合的模型在召回率百分之0.5；精准率和F1值提升了1个百分点的效果。

技术领域

本发明涉及基于序列到序列架构的多标签长文本分类技术领域，具体涉及一种引入多路选择融合机制的多标签长文本分类方法。

背景技术

在研究基于序列到序列架构的多标签长文本分类过程中。注意力机制，深度学习中的注意力机制是仿照人的视觉关注机制，根据需要每次将注意力放到输入序列的某一部分，而不是一次关注到全部。注意力机制在自然语言处理领域有着广泛应用。注意力机制分为硬注意力和软注意力，软注意力机制会对序列的每个部分都分配一个注意力权重。计算注意力权重要先计算对序列每个部分的配分，然后对配分进行归一化即可得到注意力权重α_i。

其中，s(x_i,q)为配分函数，计算q对x_i的注意力配分，N为输入序列长度。对于配分函数的不同，将影响生成的标签序列的精确率、召回率和F1等值。

发明内容

针对现有技术中所存在的不足，本发明提供了引入多路选择融合机制的多标签长文本分类方法，解决了生成的标签序列的模型在精确率、召回率和F1等值优化的问题。

为实现上述目的，本发明采用了如下的技术方案：

一种引入多路选择融合机制的多标签长文本分类方法，包括以下步骤：

S1.将训练数据集，将训练数据集中的标题数据和描述数据拼接得到长文本数据，对于没有描述数据的训练数据，复制一份标题数据当做标题数据对应的描述数据；然后将长文本数据按照比例划分训练集、验证集和测试集，划分训练集、验证集和测试集相应的比例为预设值；

S2.将训练集的长文本数据进行去低频词后建立编码器所需的词表以及建立解码器所需的类别标签的词表，将标签序列前面加上序列起始符号得到解码器的输入，将标签序列后面加上序列结束符号得到解码器的输出，将长文本和对应的两个标签序列根据各自的词表分别映射为序号形式的输入和标签；S3-1.输入和标签输入转换器模型，转换器模型包括编码器端和解码器端，解码器端在解码的每一步开始前的待解码的数据，通过点积、加性注意力和乘性注意力三种配分函数并行的选取编码序列中和当前解码状态最相关的一半序列，当一半数字出现余数时采用向上取整得到，其余序列加上负无穷，使得softmax后该位置的注意力权重为0，实现只对选择的相关度高的部分序列分配注意力权重，将注意力权重和编码序列进行加权求和后得到三个向量h₁、h₂、h₃；

S3-2.将三个向量h₁、h₂、h₃通过两个融和函数r₁和r₂，将向量进行融合，得到最终用于解码的向量c；融合的公式为：

c＝(1-r₂)*((1-r₁)*h₁+r₁*h₂)+r₂*h₃