[发明专利]一种文本分类的方法、装置、计算机设备及存储介质

说明书

本申请公开了一种文本分类的方法、装置、计算机设备及存储介质，属于人工智能技术领域。本申请基于UDA网络框架构建文本分类模型，其中，文本分类模型的损失函数包括有监督损失项和无监督损失项，获取训练样本，其中，训练样本包括有标签样本和无标签样本，对无标签样本进行标注，得到伪标签，将训练样本导入文本分类模型进行训练，并基于有监督损失项和无监督损失项计算预测误差，基于预测误差对初始文本分类模型进行迭代更新，当需要进行文本分类时，将待分类文本数据导入文本分类模型，输出分类文本结果。此外，本申请还涉及区块链技术，待分类文本数据可存储于区块链中。本申请提高了文本分类模型训练效率，同时还能够保证模型的准确率。

技术领域

本申请属于人工智能技术领域，具体涉及一种文本分类的方法、装置、计算机设备及存储介质。

背景技术

目前，业内现有文本分类技术主要采用有监督学习方法来完成，分类过程包括文本预处理、特征抽取、分类模型及评价等步骤，监督学习分类算法多一般基于朴素贝叶斯的多变量贝努利模型、多项式模型、支持向量机或者深度学习方法实现，其中，深度学习方法包括多层感知机MLP、卷积神经网络CNN和循环神经网络CNN。虽然有监督学习高效，且准确度高，但是难实际应用，因为有监督学习的方法需要大量的有标签数据进行训练，而由于自然语言处理任务大部分属于认知层面的任务，因而数据标注的难度和不确定性显著高于感知层面的任务，例如图像识别、语音识别等。

市面上也有少部分文本分类通过半监督学习方法实现，主要采用Pseudo-Label这种经典模型，该模型方法核心在于利用训练中的模型对无标签数据进行预测，以概率最高的类别作为无标签数据的伪标签，然后运用熵正则(entropy regularization)思想，将无监督数据转为目标函数的正则项。实际应用中，就是将拥有伪标签的无标签数据视为有标签的数据，然后用交叉熵来评估误差大小。但目前半监督学习方法对于预测的伪标签一视同仁，若模型对于预测类别都具有较低概率值，仍会把最大概率值作为对应的伪标签，实际应用中，此举会给模型引入错误信号，影响模型准确率。

发明内容

本申请实施例的目的在于提出一种文本分类的方法、装置、计算机设备及存储介质，以解决现有半监督学习的文本分类方案存在的对于预测的伪标签一视同仁，导致文本分类结果的准确率不高的技术问题。

为了解决上述技术问题，本申请实施例提供一种文本分类的方法，采用了如下所述的技术方案：

一种文本分类的方法，包括：

接收分类模型训练指令，并构建初始文本分类模型，其中，初始文本分类模型的损失函数包括有监督损失项和无监督损失项；

从预设数据库中获取第一训练样本，其中，所述第一训练样本包括有标签样本和无标签样本；

基于预设的开源标注模型对所述无标签样本进行标注，得到所述无标签样本的伪标签，并组合所述有标签样本和携带伪标签的所述无标签样本，得到第二训练样本；

将所述第二训练样本导入所述初始文本分类模型进行模型训练，生成样本分类结果；

基于所述有监督损失项和所述无监督损失项计算所述样本分类结果与预设标准分类结果之间的误差，得到预测误差；

基于所述预测误差，使用反向传播算法对所述初始文本分类模型进行迭代更新，得到训练好的文本分类模型；

接收文本分类指令，获取待分类文本数据，将所述待分类文本数据导入训练好的所述文本分类模型，输出分类文本结果。

进一步地，在所述从预设数据库中获取第一训练样本的步骤之后，还包括：

对所述无标签样本进行分类；

通过预设的数据增广方法对分类后的无标签样本进行数据增广，得到增广样本。