[发明专利]一种基于多任务学习的多标签文本分类方法和装置

说明书

本申请提供了一种基于多任务学习的多标签文本分类方法和装置，所述方法包括：获取训练样本，建立针对多标签文本分类的多任务学习模型；其中，所述多任务学习模型包括共享层和多特定任务层；所述共享层用于获取文本信息中的上下文关联信息；所述多特定任务层用于针对共享层输出的特征向量进行多任务分类；获取待分类的文本信息时，基于所述多任务学习模型获取该待分类的文本信息的分类标签。该方法能够更准确地进行多标签文本分类。

技术领域

本发明涉及信息处理技术领域，特别涉及一种基于多任务学习的多标签文本分类方法和装置。

背景技术

随着互联网和社交媒体的发展，目前网络上已经有海量的文本信息，包括维基百科词条、学术文章、新闻报道、以及各种售后服务评论，而这些文本信息中蕴含了大量有价值的信息，现有的文本分类技术可以粗略的提取其中特定的信息，如通过对售后评论进行情感分析可以得知消费者对于该产品或者服务的满意度，通过对新闻数据进行分类可以大致区分新闻报道的领域，通过对维基百科数据的句子进行分类可以获得知识图谱中的关系等。

总之，文本分类是一种极其重要的技术，目前，比较常用的方法包括传统分类技术及深度学习技术，如SVM、最近邻和决策树等，还有CNN、RNN等深度学习技术。

上述的这些技术都适用于单标签文本分类，对于文本包括的多种标签无法进行预测，对于多标签文本分类，目前主流的做法都是训练m个分类器，然后对这m个分类器最后的输出进行综合输出，这种方法做法的优势在于无需对算法做出更改就可以获得多标签，但其缺点是这m个分类器之间是彼此孤立的，将此种网络结构应用于有关联的多标签文本是不能给出准确标签的。

发明内容

有鉴于此，本申请提供一种基于多任务学习的多标签文本分类方法和装置，能够更准确地进行多标签文本分类。

为解决上述技术问题，本申请的技术方案是这样实现的：

在一个实施例中，提供了一种基于多任务学习的多标签文本分类方法，所述方法包括：

获取训练样本，建立针对多标签文本分类的多任务学习模型；其中，所述多任务学习模型包括共享层和多特定任务层；所述共享层用于获取文本信息中的上下文关联信息；所述多特定任务层用于针对共享层输出的特征向量进行多任务分类；

获取待分类的文本信息时，基于所述多任务学习模型获取该待分类的文本信息的分类标签。

在另一个实施例中，提供了一种基于多任务学习的多标签文本分类装置，所述装置包括：获取单元、建立单元、第二获取单元和分类单元；

所述获取单元，用于获取训练样本；获取待分类的文本信息；

所述建立单元，用于当所述获取单元获取训练样本时，建立针对多标签文本分类的多任务学习模型；其中，所述多任务学习模型包括共享层和多特定任务层；所述共享层用于获取文本信息中的上下文关联信息；所述多特定任务层用于针对共享层输出的特征向量进行多任务分类；

所述分类单元，用于当所述获取单元获取待分类的文本信息时，基于所述建立单元建立的多任务学习模型获取该待分类的文本信息的分类标签。

由上面的技术方案可见，上述实施例中建立的多任务学习模型，通过在多任务学习模型中增加共享层来获取文本信息中上下文的关联关系，进而再通过特征任务层中的多任务分类实现多标签文本分类，能够更准确地进行多标签文本分类。

附图说明

以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围：

图1为本申请实施例中基于多任务学习的多标签文本分类流程示意图；

图2为本申请实施例中针对多标签文本分类的多任务学习模型结构示意图；

图3为本申请实施例中应用于上述技术的装置结构示意图。