[发明专利]基于语义-标签多粒度注意力的多标签分类方法及系统

说明书

本发明提供了一种基于语义‑标签多粒度注意力的多标签分类方法及系统。该方法包括：语义‑标签多粒度注意力模型构建：将堆叠的扩张卷积编码模块与标签图注意力模块的输出共同连接多粒度注意力机制网络，多粒度注意力机制网络输出的加权后的标签作为全连接层的输入，全连接层得到的用于映射预测标签的输出值输入一个Sigmoid层，得到每个标签的预测概率；模型训练：采用多标签数据集对构建的语义‑标签多粒度注意力模型进行训练，调整参数直至语义‑标签多粒度注意力模型收敛，得到训练完成的语义‑标签多粒度注意力模型；以待分类的多标签数据集作为输入，训练完成后的语义‑标签多粒度注意力模型输出分类结果。

技术领域

本发明属于多标签分类领域，尤其涉及一种基于语义-标签多粒度注意力的多标签分类方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

多标签分类(MLC)是为给定的输入样本分配一个或多个标签的任务。它在现实世界中具有广阔的应用场景，如文档注释、标签推荐、信息检索以及对话系统。由于标签之间通常具有复杂的依赖关系，这使得该任务在自然语言处理领域中极其富有挑战性。

早期的一些研究工作包括：Binary Relevance(BR)、Classifier Chains(CC)和Label Powerset(LP)等，都取得了不错的效果。随着基于人工神经网络的深度学习取得了巨大的进步，人们开始尝试利用经典的神经网络架构处理多标签分类问题。例如，Zhang等人利用全连接神经网络和成对的排序损失函数来处理多标签分类任务。Chen等人提出了将卷积神经网络(CNN)和循环神经网络(RNN)相结合来表示文本的语义信息，并对标签的依赖关系进行高阶建模，这些方法在整体上的性能是令人满意的。

随着序列到序列架构和注意力机制在神经机器翻译任务上取得的巨大成功。Nam、Yang、Lin等人尝试将它们用于多标签分类(MLC)任务，并取得了非常先进的效果。基于注意力机制的序列到序列模型使用RNN或长短期记忆网络(LSTM)作为编码器捕获输入序列中的上下文信息，在解码端同样使用RNN或LSTM生成标签序列并预测标签。而注意力机制的应用考虑了输入序列的不同部分对标签序列预测的贡献。

图神经网络这一研究课题近年来受到越来越多的关注。它被证明能够有效地处理具有丰富关系结构的任务。Shi等人提出了多标签图卷积网络(ML-GCN)在多标签节点分类任务上取得了不错的效果。Lanchantin等人基于图神经网络中消息传递的思想提出了标签信息传递网络(LaMP)，在多个MLC任务上取得先进的结果。

早期的一些研究，它们并没有充分考虑到标签之间的相关性对于预测标签的影响程度，或是对于标签之间相关性的方面考虑不够充分。对于RNN或LSTM这类序列模型，标签序列只能是顺序生成的。这使得序列到序列架构在时间效率上受到限制。此外，对于具体的MLC任务，理想情况下，输出标签之间是不能考虑顺序因素的。而以上模型在训练过程中标签排序是固定下来的(通常为降序)，这导致在测试时模型往往会产生不稳定的预测，降低了模型的性能和可解释性。对于图神经网络模型，仅仅度量了标签与样本的关系，而没有考虑文本内部不同的内容对预测结果的影响，因此难以在其他经典的MLC任务上大规模应用。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于语义-标签多粒度注意力的多标签分类方法及系统，其完全摆脱了传统序列到序列(Seq2Seq)架构下固定标签顺序的限制，从而实现了完全并行化的训练过程，具有强大的可解释性。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于语义-标签多粒度注意力的多标签分类方法。

一种基于语义-标签多粒度注意力的多标签分类方法，包括：