[发明专利]文本分类方法、装置、介质和计算设备

说明书

本发明的实施方式提供了一种文本分类方法。该方法包括：获取待分类文本；根据待分类文本，采用第一深度学习模型获取待分类文本的第一分类信息；在第一分类信息表征待分类文本的类别不是第一类别的情况下，采用第二深度学习模型确定待分类文本的类别。其中，优化得到第二深度学习模型的样本数据包括第一文本，该第一文本的第一分类信息表征的类别不是第一类别。本发明的方法采用两个深度学习模型确定文本分类，其中，第二深度学习模型的样本数据是经由第一深度学习模型召回得到的文本。因此可以提高样本数据中有效样本的浓度，从而减少样本标注，且能够提高分类预测的准确率。此外，本发明的实施方式还提供了一种文本分类装置、介质和计算设备。

技术领域

本发明的实施方式涉及文本处理领域，更具体地，本发明的实施方式涉及一种文本分类方法、装置、介质和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

在互联网领域中，往往需要从大量文本中挑选出不符合规定的文本，以避免展示该不符合规定的文本导致的对用户起到负面引导的情况发生。其中，文本挑选可以采用文本分类的方法来进行。

通常，在自然语言处理领域的大部分的文本分类方法均可适用于不符合规定文本(例如“三俗”新闻)的检测。例如，早期的不符合规定文本的检测还是基于编辑的人工审核，但随着互联网和自媒体的大力发展，新闻量级度增加使得效率较低且成本偏高的人工审核无法满足需求，于是人工和机器结合审核的方式成为主流。在机器审核中，不符合规定文本的检测方法主要是基于词典的方法，通过构建含有不符合规定词汇的关键词表，对文本内容进行正则匹配。近几年，随着机器学习和深度学习在文本分类领域的突出表现，一些深度学习模型也在文本分类中得以应用。

其中，基于词典的方式进行文本审核往往因为词表不够丰富、不能捕捉文本语义关系，而导致召回率较低。而机器学习和深度学习的方法往往都是端到端的解决文本分类问题，但在新闻文本场景下，由于不符合规定文本占总文本的总量较低，训练数据往往难以获取。同时在应用时，由于不符合规定文本和符合规定文本的分布极其不均衡，因此很难保证线上分类的准确性和不符合规定文本的召回率。

发明内容

因此在现有技术中，采用现有的文本分类方法对新闻等互联网场景下的文本进行分类时，存在因不同类型文本的分布不均衡导致的准确性低，召回率难以保证的问题。再者由于需要大量具有标注的样本来训练模型，因此还存在训练数据难以获取的缺陷。

为此，非常需要一种改进的文本分类方法，能够在无需大量训练数据的前提下，对类别分布不均衡的文本进行准确分类。

在本上下文中，本发明的实施方式期望能够先提高样本文本中有效样本的浓度，再对具有高浓度有效样本的样本文本作为训练数据来训练分类模型，以在减少训练数据总量的前提下，提高分类模型分类的准确性。

本发明实施方式的第一方面中，提供了一种文本分类方法，包括：获取待分类文本；根据待分类文本，采用第一深度学习模型获取待分类文本的第一分类信息；在第一分类信息表征待分类文本的类别不是第一类别的情况下，采用第二深度学习模型确定待分类文本的类别。其中，优化得到第二深度学习模型的样本数据包括第一文本，该第一文本的第一分类信息表征的类别不是第一类别。

在本发明的一个实施例中，上述采用第二深度学习模型确定待分类文本的类别包括：采用第二深度学习模型获取待分类文本的第二分类信息：以及确定待分类文本的类别为第二分类信息表征的类别。