[发明专利]一种文本数据多标签分类方法及装置

说明书

本文提供了一种文本数据多标签分类方法及装置，方法包括：对待分析文本数据进行预处理，得到词/字序列；将词/字序列输入至多标签分类模型中，得到待分析文本数据的标签概率向量；根据待分析文本数据的标签概率向量及预设的标签分类阈值，计算得到待分析文本数据的标签列表；多标签分类模型包括嵌入层及编码分类层；嵌入层用于根据文本数据的词/字序列、预先确定的词/字典和标签类别字典，得到嵌入层的输出向量；编码分类层用于根据嵌入层的输出向量，输出文本数据的标签概率向量；嵌入层的输出向量包含词/字嵌入、标签类别字典中的标签与文本数据的相关性以及标签在文本数据中的位置。本文丰富了模型输入的语义信息，能够提升模型的准确率。

技术领域

本文涉及自然语言文本分类领域，尤其涉及一种文本数据多标签分类方法及装置。

背景技术

随着互联网技术的快速发展以及各种智能应用的不断推出，如何对海量数据进行分析并从中获取有价值的信息已成为当前学术界和工业界主要聚焦的热点之一，文本处理相关的技术更是受到了极大的关注，其中文本分类技术也得到了长足的发展和进步。

传统的文本分类技术主要关注的是单标签分类，即通常一段文本只有一个类别标签。但是实际生活中，一段文本的类别标签通常不止一个，尤其在医学文本(比如体检文本)的分类任务中，通常一段文本可能对应一个或以上的标签类别，比如：“肝囊肿，双肾结石”会对应“肝囊肿”和“肾结石”两个标签。因此，体检数据的多标签分类对于体检数据的处理具有重要意义。

目前，人们在文本多标签分类的研究和应用上做了大量的探索和实践。当前的文本多标签分类方法主要有两类：一是基于传统机器学习的文本多标签分类方法，此类方法通过人工设计的特征提取方法来训练分类器，模型的质量取决于特征设计的质量，而且没有考虑文本上下文语义信息，容易造成数据维度灾难，分类准确率不高；另一类是基于深度神经网络的文本多标签分类方法，此类方法通常分别使用卷积神经网络(CNN)、循环神经网络(RNN)、长短时记忆网络(LSTM)、注意力机制(Attention)、预训练模型等来训练多标签分类模型，该类方法相较于传统机器学习方法的优势有自动学习特征表示，分类准确率较高，但是上述分类方法对于不同使用场景(如不同数据特点)的适配能力不强，同时由于未考虑文本和标签之间的相关性，常常会造成重复研发、分类准确率无法进一步提升等结果。

发明内容

现有技术中文本分类未考虑文本与标签之间的相关性，具有分类准确率低，适用场景有限的问题。

为了解决上述技术问题，本文的第一方面提供一种文本数据多标签分类方法，所述方法包括：

对待分析文本数据进行预处理，得到词/字序列；

将所述词/字序列输入至多标签分类模型中，得到所述待分析文本数据的标签概率向量；

根据所述待分析文本数据的标签概率向量及预设的标签分类阈值，计算得到所述待分析文本数据的标签列表；

其中，所述多标签分类模型包括嵌入层及编码分类层；所述嵌入层用于根据文本数据的词/字序列、预先确定的词/字典和标签类别字典，得到嵌入层的输出向量；所述编码分类层用于根据所述嵌入层的输出向量，输出文本数据的标签概率向量；

其中，所述嵌入层的输出向量包含词/字嵌入、所述标签类别字典中的标签与文本数据的相关性以及标签在文本数据中的位置。

嵌入层的输出向量作为本文的进一步实施例中，所述多标签分类模型的建立过程包括：

获取文本样本的标签列表，对文本样本进行预处理，得到每一文本样本的词/字序列及标签列表；

根据所有文本样本的词/字列表及标签列表，分别得到词/字典、标签类别字典；

根据每一文本样本中的标签列表及所述标签类别字典，生成每一样本标签向量；