[发明专利]一种短文本多标签分类方法及装置

说明书

本申请提供一种短文本多标签分类方法及装置，包括利用与分类标签对应的单分类模型，得到第一正向分类概率集；对第一正向分类概率集内的正向分类概率进行筛选，得到第一目标正向分类概率集；判断第一目标正向分类概率集中的每个正向分类概率是否大于或等于第一预设分类阈值，若是，则将正向分类概率对应的分类标签确定为待分类短文本所属的第一分类类别；若否，则将正向分类概率对应的分类标签确定为剩余分类标签；利用多分类模型，对待分类短文本进行分类，得到第二分类类别集。本申请先对待分类短文本进行初始分类处理，然后再对该待分类短文本进行二次分类处理，可实现短文本的多分类处理，减少数据处理的繁复性，提高数据处理的速度。

技术领域

本申请涉及文本分类领域，尤其涉及一种短文本多标签分类方法及装置。

背景技术

随着近年来互联网的飞速发展，各种信息交互平台会产生大量的短文本(shorttext)，这些短文本涉及到人们生活的各个领域，逐渐成为人们使用频繁且公认的沟通方式，如公安领域的报案信息、电子商务评论及智能问答系统等都是海量短文本的产生源。如何从海量短文本中挖掘有效信息，是近年来诸多学者广泛研究的课题。文本分类是一种文本挖掘的有效方法，但由于短文本长度短、词项特征稀疏等特点，只是传统的长文本分类方法变得不再适用。

目前，卷积神经网络技术(CNN)已广泛应用到自然语言处理领域(NLP)中。卷积神经网络技术具有多个分层，即卷积层、池化层、全连接层和分类层，由卷积层和池化层对待分类短文本中的特征词进行提取，再由全连接层进行整合，最后利用分类层对待分类短文本进行分类。但是，由于分类层所使用的分类器为单类分类器，无法实现待分类短文本的多分类的需求。

发明内容

本申请提供了一种短文本多标签分类方法及装置，以解决由于分类层所使用的分类器为单类分类器，无法实现待分类短文本的多分类的问题。

第一方面，本申请提供一种短文本多标签分类方法，包括：

获取待分类短文本；

利用与分类标签对应的单分类模型，得到第一正向分类概率集，所述第一正向分类概率集由利用所述单分类模型计算得到的所述待分类短文本在不同分类标签中的正向分类概率及相应的分类标签组成；

对所述第一正向分类概率集内的正向分类概率进行筛选，得到第一目标正向分类概率集；

判断所述第一目标正向分类概率集中的每个正向分类概率是否大于或等于第一预设分类阈值，如果所述正向分类概率大于或等于所述第一预设分类阈值，则将所述正向分类概率对应的分类标签确定为所述待分类短文本所属的第一分类类别；

如果所述正向分类概率小于所述第一预设分类阈值，则将所述正向分类概率对应的分类标签确定为剩余分类标签；

利用多分类模型，对所述待分类短文本进行分类，得到第二正向分类概率集，所述多分类模型由剩余分类标签对应的二分类模型组成，所述第二正向分类概率集由利用所述多分类模型计算得到的所述待分类短文本在不同剩余分类标签中的正向分类概率及相应的剩余分类标签组成；

对所述第二正向分类概率集中的正向分类概率进行筛选，得到第二分类类别集，所述第二分类类别集由筛选第二正向分类概率集后得到的正向分类概率对应的分类标签组成；

将所述第一分类类别和第二分类类别集合并，得到分类结果。

第二方面，本申请提供一种短文本多标签分类装置，包括：

第一获取模块，用于获取待分类短文本；

单分类模型计算模块，用于利用与分类标签对应的单分类模型，得到第一正向分类概率集，所述第一正向分类概率集由利用所述单分类模型计算得到的所述待分类短文本在不同分类标签中的正向分类概率及相应的分类标签组成；