[发明专利]一种基于半监督迁移学习的文本分类方法

说明书

本发明公开了一种基于半监督迁移学习的文本分类方法，包括以下步骤：(1)数据集和数据预处理，获取少量标记数据集和大量未标记数据集，进行清洗和去噪操作，然后通过word2vec方法将数据集样本向量化，向量维度选取100；(2)数据增强，对未标记数据中的每个样本进行K次文本增强，增强方式为反译方式；(3)伪标签预判，将标记样本输入到预训练模型Bert中，采用微调的方法进行模型迁移；(4)样本混合；(5)文本分类，经过训练后得到的最好模型，可用来对测试集中的数据进行文本分类预测。该基于半监督迁移学习的文本分类方法结合半监督学习、迁移学习用于解决在文本分类领域中标注数据难以获取的问题，同时能够提高文本分类模型的性能。

技术领域

本发明涉及文本分类技术领域，具体为一种基于半监督迁移学习的文本分类方法。

背景技术

深度学习是自然语言处理领域中的重要方法，在文本分类、实体识别、机器翻译、情感分析等任务中能够取得良好的性能，然而深度学习具有一个根本弱点：需要大量有标注的数据才能正常工作。然而在现实世界的很多领域中，往往存在着标注数据不足的困难，并且对大量无标注数据进行标注工作是一个十分昂贵的工作。因此，如何降低深度学习模型对标记样本数据量的需求，同时提高模型的预测性能，是一个重要的研究内容。

发明内容

本发明的目的在于提供一种基于半监督迁移学习的文本分类方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于半监督迁移学习的文本分类方法，包括以下步骤：

(1)数据集和数据预处理

获取少量标记数据集X^l和大量未标记数据集X^u，进行清洗和去噪操作，然后通过word2vec方法将数据集样本向量化，向量维度选取100。

(2)数据增强

对未标记数据中的每个样本进行K次文本增强，增强方式为反译方式，第i个样本第k次增强的样本为

(3)伪标签预判

将标记样本输入到预训练模型Bert中，采用微调的方法进行模型迁移，为了达到更好的微调效果，使用带逐层解冻、倾斜的三角形学习速率的微调技术代替一般的微调技术。

(4)样本混合

将标记样本、未标记样本、增强样本合并成数据集(X,Y)，其中X＝concat(X^u,X^a,X^l)，Y＝concat(Y^u,Y^a,Y^l)，混合其中任意两个样本，送入Bert模型中继续进行训练，计算概率向量和标记之间的kl散度作为一致性损失项，约束增强数据与原始数据具有相同的标签。

(5)文本分类

经过训练后得到的最好模型Model_best，可用来对测试集中的数据进行文本分类预测。

进一步的，所述步骤(3)具体步骤如下：将标记样本输入到预训练模型Bert中，采用微调的方法进行模型迁移，此时模型预测的标签和真实标签之间的交叉熵作为有监督损失项，利用微调好的模型对原始未标记样本和其增强样本进行预测，先使用加权平均聚合预测出的概率向量再对其进行锐化操作用以避免加权平均过于平均，同时鼓励模型产生高置信度的预测，再通过预测层得到未标记样本和其增强样本的伪标签，此时计算原始未标记样本概率向量和增强样本概率向量之间的L2损失作为无监督损失项。

进一步的，所述步骤(4)中样本混合的方式可采用Mixup方法：对单词嵌入进行插值、对句子嵌入进行插值或Tmix方法：混合指定网络层的隐藏向量。