[发明专利]基于BERT的文本分类方法和装置

权利要求书

1.一种基于BERT的文本分类方法，其特征在于，所述方法包括：

将获取的预测用的原始样本数据输入到训练完成的BERT预测模型中，以及

通过所述训练完成的BERT预测模型对所述预测用的原始样本数据进行文本分类，

其中，所述训练完成的BERT预测模型是通过以下方式获得的：

对获取的训练用的原始样本数据进行自适应预处理，得到训练用的输入样本；

通过动态学习率机制和分层自适应调节机制构建第一BERT预测模型；

通过所述第一BERT预测模型将所述训练用的输入样本转换为输入序列；

根据所述训练用的输入样本和所述输入序列生成对抗输入样本；以及

使用所述对抗输入样本和所述训练用的输入样本对所述第一BERT预测模型进行对抗训练，以得到训练完成的BERT预测模型。

2.根据权利要求1所述的文本分类方法，其特征在于，对获取的训练用的原始样本数据进行自适应预处理，得到训练用的输入样本包括：

根据所述训练用的原始样本数据的样本原始长度对所述训练用的原始样本数据进行自适应预处理，得到所述训练用的输入样本，

其中，

在所述样本原始长度不超过预设的最大长度时进行padding补齐来获取所述训练用的输入样本；

在所述样本原始长度超过所述预设的最大长度时，根据预设的样本首部长度和预设的样本尾部长度来获取所述训练用的输入样本。

3.根据权利要求1所述的文本分类方法，其特征在于，通过动态学习率机制和分层自适应调节机制构建第一BERT预测模型包括：

采用动态学习率机制和分层自适应调节机制对基于BERT的预训练模型进行微调训练，以构建第一BERT预测模型。

4.根据权利要求3所述的文本分类方法，其特征在于，采用所述动态学习率机制对基于BERT的预训练模型进行微调训练包括：

根据所述基于BERT的预训练模型的损失率降低的速度来判定所述基于BERT的预训练模型处于第一阶段或第二阶段或第三阶段；

根据判定结果确定所述基于BERT的预训练模型在所述第一阶段或在所述第二阶段或在所述第三阶段的学习率。

5.根据权利要求4所述的文本分类方法，其特征在于，根据判定结果确定所述基于BERT的预训练模型在所述第一阶段或在所述第二阶段或在所述第三阶段的学习率包括：

当判定所述基于BERT的预训练模型处于所述第一阶段时，确定所述基于BERT的预训练模型的学习率从小学习率η_min上升到最大学习率η_max；

当判定所述基于BERT的预训练模型处于所述第二阶段时，确定所述基于BERT的预训练模型的学习率从最大学习率η_max下降到小学习率η_min；以及

当判定所述基于BERT的预训练模型处于所述第三阶段时，确定所述基于BERT的预训练模型的学习率从小学习率η_min收敛到最终学习率η_last。

6.根据权利要求5所述的文本分类方法，其特征在于，采用所述分层自适应调节机制对基于BERT的预训练模型进行微调训练包括：在所述第一阶段，学习率在每一层编码器逐层上升。

7.根据权利要求1所述的文本分类方法，其特征在于，所述输入序列中的每条文本开头插入[CLS]。

8.根据权利要求1所述的文本分类方法，其特征在于，将获取的预测用的原始样本数据输入到训练完成的BERT预测模型中包括：

获取预测用的原始样本数据；

对所述预测用的原始样本数据进行自适应预处理，得到预测用的输入样本；

将所述预测用的输入样本输入到所述训练完成的BERT预测模型中。