[发明专利]一种基于多步判别的Co-Attention模型用于多标签文本分类的方法

说明书

本发明涉及一种基于多步判别的Co‑Attention模型用于多标签文本分类的方法，基于算法改编方法，通过引入原始文本信息与前导标签的互注意力机制，实现了前导标签在文本编码过程中的信息过滤作用，优化了训练过程，原始文本内容对前导标签的注意力作用进一步缓解了单次错误预测导致的误差累积问题。本发明针对多标签文本分类任务的特点，采用特征向量差分融合与级联融合策略。通过差分，凸显了待预测标签所依赖的原始文本信息，优化了标签信息监督作用，获得了信息全面且具有区分度的最终编码向量。实现了原始文本信息、前导标签信息、待预测标签信息三者间的同时建模。

技术领域

本发明涉及一种基于多步判别的Co-Attention模型用于多标签文本分类的方法，属于文本分类的技术领域。

背景技术

随着以深度人工神经网络技术为代表的人工智能技术的发展，传统文本分类技术已经具有非常优秀的性能表现，并获得了广泛的实际应用。为进一步提升文本分类任务的用户体验，多标签文本分类逐渐走进人们的视野，许多研究人员在该领域内进行了广泛与深入的探索研究。

在研究与应用过程中，多标签分类任务与传统的多分类任务相比有着诸多共性，也有本质上的不同。相比于单一标签的文本分类任务，依照文本内容的不同，多标签文本分类的标签之间存在着不同的相关关系可以被挖掘和利用，进而提高模型与算法的效果。例如，在讨论国际事件的新闻报道中，讨论“政治”类话题时，“经济”话题被提及的概率要远高于“娱乐”类话题的可能，即在一定的文本语境下，各标签之间的共现关系具有明显差别。挖掘并利用这种关系，实现文本与标签之间关系的建模、标签与标签之间关系的建模，为提高多标签文本分类任务的准确率和召回率，实现准确且全面的文本分类，提供了可能。如何挖掘并利用多标签文本分类任务中，数据集合所体现出的各类别标签之间的潜在关系，是目前提升多变文本分类任务的主要方法和热点研究方向。

目前基于深度人工神经网络的文本任务已经成为性能表现最好的应用方案。基于这样的基础技术进步，多标签文本分类任务也进入了深度人工神经网络解决方案阶段。在这一发展阶段中，出现了各种各样的多标签文本分类模型与方法，这些方法基本可以归结为以下两大类。

第一类方法称为问题转化方法，包括任务转化与标签转化等。转化方法的基本思想是将多标签文本分类任务转化成为单标签分类任务。任务转换模型的代表性方法是Matthew R.Boutell等人2014年提出的多二分类模型，通过在多个标签上的分别构造二分模型，将多标签分类问题转换为类似于多任务模型的多个单标签二分类预测问题。但是，该方法没有将标签之间的关联信息融入到模型中，导致模型预测召回率较低。

第二类方法是算法改编方法，基于seq2seq框架的序列生成模型及其改进型，seq2seq框架下的多标签分类模型使用标签序列生成的方法实现了多标签预测，重视了标签之间的语意关联，取得了巨大的性能提升。但是，该方法并没有缓解误差累计的问题，即在单次预测错误的情况下，对后期预测也会造成影响。

发明内容

针对现有技术的不足，本发明提供一种基于多步判别的Co-Attention模型用于多标签文本分类的方法。

发明概述：

本发明采用多步判别的互注意力方法来对多标签分类任务建模。基于算法改编方法，通过引入原始文本信息与前导标签的互注意力机制，实现了前导标签在文本编码过程中的信息过滤作用，优化了训练过程，原始文本内容对前导标签的注意力作用进一步缓解了单次错误预测导致的误差累积问题。

本发明针对多标签文本分类任务的特点，采用特征向量差分融合与级联融合策略。通过差分，凸显了待预测标签所依赖的原始文本信息，优化了标签信息监督作用，获得了信息全面且具有区分度的最终编码向量。实现了原始文本信息、前导标签信息、待预测标签信息三者间的同时建模。模型的整体流程包括：1、标签数据预处理；2、训练词向量；3、文本特征提取；4、特征组合；5、分类预测。

术语解释：