[发明专利]基于BERT的文本分类方法和装置

说明书

本申请实施例公开了一种基于BERT的文本分类方法和装置，方法包括：将预测用的原始样本数据输入到训练完成的BERT预测模型中，以及通过该训练完成的BERT预测模型对预测用的原始样本数据进行文本分类，其中，通过以下方式获得该训练完成的BERT预测模型：对训练用的原始样本数据进行自适应预处理得到训练用的输入样本；通过动态学习率机制和分层自适应调节机制构建第一BERT预测模型；通过第一BERT预测模型将该训练用的输入样本转换为输入序列；根据训练用的输入样本和输入序列生成对抗输入样本；使用对抗输入样本和训练用的输入样本对第一BERT预测模型进行对抗训练以得到训练完成的BERT预测模型。

技术领域

本申请涉及人工智能领域，尤其涉及一种基于BERT的文本分类方法和装置。

背景技术

文本分类是从属于自然语言处理(Natural Language Processing,NLP)范畴内的高频研究对象。它为给定的文本文档匹配最相关的标签，并广泛用于审阅分类、标签推荐、信息检索等领域，使用场景非常广泛。

文本分类方法有很多，传统的文本分类方法中，具有代表性的是Luhn等人提出的一种利用统计方法进行文本信息的机械化编码与搜索方法。而随着机器学习和深度学习的发展，很多具有更好效果的文本分类方法得到了大规模应用，基于机器学习的文本分类方法，经典的模型是Word2Vec。基于深度学习的文本分类方法，经典的模型包括LSTM、Transformer、BERT等。

BERT模型于2018年提出，该模型是一种双向多头自注意力编码器组成的深层预训练模型。与同样属于预训练模型的word2vec相比，由于BERT层数足够深，所以能学习到更高级的语义信息。BERT具有以下三个特点：BERT利用了Transformer学习机制，能够学习序列中不同单词相互的上下文信息；BERT具有独特的双向训练方式；BERT提供了预训练模型，可以在此基础上构建网络，相比传统的从头开始搭建网络和训练十分方便。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

发明人发现，BERT模型应用于文本分类任务具有较好的性能，可以有效实现对文本的分类，但是该模型存在训练盲区、灾难性遗忘和过拟合等缺陷；以上缺陷在文本分类任务中都会直接影响模型性能，导致分类准确率下降。

为了解决上述技术问题或者类似的问题，本申请实施例提供了一种基于BERT的文本分类方法和装置，用以提高训练出来的预测模型对于文本分类的精度，从而使模型能更适应文本分类任务。

本申请实施例提供一种基于BERT的文本分类方法，其中，所述方法包括：将获取的预测用的原始样本数据输入到训练完成的BERT预测模型中，以及通过所述训练完成的BERT预测模型对所述预测用的原始样本数据进行文本分类，其中，所述训练完成的BERT预测模型是通过以下方式获得的：对获取的训练用的原始样本数据进行自适应预处理，得到训练用的输入样本；通过动态学习率机制和分层自适应调节机制构建第一BERT预测模型；通过所述第一BERT预测模型将所述训练用的输入样本转换为输入序列；根据所述训练用的输入样本和所述输入序列生成对抗输入样本；以及使用所述对抗输入样本和所述训练用的输入样本对所述第一BERT预测模型进行对抗训练，以得到训练完成的BERT预测模型。

在一些实施例中，对所述训练用的原始样本数据进行自适应预处理，得到训练用的输入样本包括：根据所述训练用的原始样本数据的样本原始长度对所述训练用的原始样本数据进行自适应预处理，得到所述训练用的输入样本，其中，在所述样本原始长度不超过预设的最大长度时进行padding补齐来获取所述训练用的输入样本；在所述样本原始长度超过所述预设的最大长度时，根据预设的样本首部长度和预设的样本尾部长度来获取所述训练用的输入样本。