[发明专利]一种文本分类方法、装置及电子设备

权利要求书

1.一种文本分类方法，基于BERT模型，所述BERT模型包括：至少两个依次连接的编码器层；所述编码器层包括多个编码器；

所述方法，包括：

将待分类文本输入所述BERT模型；所述待分类文本包括单句；

采集每个所述编码器层的输出，得到对应于所述待分类文本的至少两个特征表示信息；

融合至少两个所述特征表示信息，得到融合后的特征表示信息；

根据所述融合后的特征表示信息，确定所述待分类文本的类型；

其中，所述将待分类文本输入所述BERT模型之后，具体包括：在所述单句的句首和句尾分别添加特殊符和断句符，并确定所述单句包括的若干单字；为所述特殊符、所述断句符和所述单字分别对应的设置一个所述编码器；通过所述编码器分别生成对应于所述特殊符的单句特征向量、对应于所述断句符的断句特征向量，以及对应于所述单字的单字特征向量；根据所述单句特征向量、所述断句特征向量和所述单字特征向量，得到所述特征表示信息。

2.根据权利要求1所述的文本分类方法，还包括：

确定训练文本和初始BERT模型；所述初始BERT模型包括：至少两个依次连接的初始编码器层；

将所述训练文本输入所述初始BERT模型；

采集所述初始编码器层的输出，得到对应于所述训练文本的至少两个训练特征表示信息；

融合至少两个所述训练特征表示信息，得到融合后的训练特征表示信息；

根据所述融合后的训练特征表示信息，确定所述训练文本的预测类型；

确定所述训练文本的实际类型，并根据所述实际类型与所述预测类型，得到反馈信息；

根据所述反馈信息，调整所述初始BERT模型的模型参数，以得到所述BERT模型。

3.根据权利要求1所述的文本分类方法，所述融合至少两个所述特征表示信息，得到融合后的特征表示信息，包括：

从至少两个所述特征表示信息中提取得到至少两个单句特征向量；

将至少两个所述单句特征向量进行向量融合，以作为所述融合后的特征表示信息。

4.根据权利要求1所述的文本分类方法，所述融合至少两个所述特征表示信息，得到融合后的特征表示信息，包括：

对于每个所述特征表示信息，将其包括的所述单句特征向量、所述断句特征向量和所述单字特征向量进行向量计算或向量融合，得到组合特征向量；

将至少两个所述组合特征向量进行向量融合，以作为所述融合后的特征表示信息。

5.一种文本分类装置，包括：

输入模块，被配置为将待分类文本输入BERT模型；所述BERT模型包括：至少两个依次连接的编码器层；所述编码器层包括多个编码器；所述待分类文本包括单句；

采集模块，被配置为采集每个所述编码器层的输出，得到对应于所述待分类文本的至少两个特征表示信息；

融合模块，被配置为融合至少两个所述特征表示信息，得到融合后的特征表示信息；

分类模块，被配置为根据所述融合后的特征表示信息，确定所述待分类文本的类型；

其中，所述采集模块，具体被配置为在所述单句的句首和句尾分别添加特殊符和断句符，并确定所述单句包括的若干单字；为所述特殊符、所述断句符和所述单字分别对应的设置一个所述编码器；通过所述编码器分别生成对应于所述特殊符的单句特征向量、对应于所述断句符的断句特征向量，以及对应于所述单字的单字特征向量；根据所述单句特征向量、所述断句特征向量和所述单字特征向量，得到所述特征表示信息。

6.根据权利要求5所述的文本分类装置，还包括：训练模块，被配置为确定训练文本和初始BERT模型；所述初始BERT模型包括：至少两个依次连接的初始编码器层；将所述训练文本输入所述初始BERT模型；采集所述初始编码器层的输出，得到对应于所述训练文本的至少两个训练特征表示信息；融合至少两个所述训练特征表示信息，得到融合后的训练特征表示信息；根据所述融合后的训练特征表示信息，确定所述训练文本的预测类型；确定所述训练文本的实际类型，并根据所述实际类型与所述预测类型，得到反馈信息；根据所述反馈信息，调整所述初始BERT模型的模型参数，以得到所述BERT模型。