[发明专利]文本分类方法、装置、设备及存储介质

权利要求书

1.一种文本分类方法，其特征在于，包括：

获取待分类文本；

将所述待分类文本输入到分类模型进行分类处理，得到所述待分类文本的预测结果，所述分类模型包括多个不同的向量提取模型和与每个所述向量提取模型一一对应的输出子模型，每个所述向量提取模型用于从所述待分类文本中提取不同的融合词向量，所述输出子模型用于对所述融合词向量进行分类得到所述预测结果，所述预测结果包括多个标签种类；所述向量提取模型包括BERT模型，所述分类模型按照如下方式构建：

获取历史文本数据，将所述历史文本数据分为训练集和验证集；

利用所述训练集和验证集按照训练学习算法初步构建得到所述多个BERT模型中的第一个BERT模型和与之对应的第一输出子模型，并得到验证结果；所述验证结果包括对历史文本数据预测正确的标签对应的概率；

基于所述验证结果中预测正确的标签删除所述验证集中预测正确的标签，得到新的验证集；所述新的验证集中包括未预测正确的标签；

利用所述训练集和所述新的验证集按照训练学习算法构建得到多个BERT模型中的第二BERT模型和与之对应的第二输出子模型，并得到新的验证结果；

返回对所述验证集进行删除处理得到新的验证集的步骤依次执行，直到构建得到多个BERT模型和每个所述BERT模型一一对应的输出子模型。

2.根据权利要求1所述的文本分类方法，其特征在于，所述向量提取模型包括BERT模型，所述将所述待分类文本输入到分类模型，得到所述待分类文本的预测结果，包括：

将所述待分类文本的字或词同步地输入到所述多个不同的BERT模型中的每一个，得到与每一个BERT模型相对应的融合词向量；

通过与每个BERT模型一一对应的输出子模型，对与每个BERT模型相对应的融合词向量进行分类处理，得到所述待分类文本的预测结果。

3.根据权利要求2所述的文本分类方法，其特征在于，每个所述BERT模型包括依次相连的多个注意力机制模型，对于每个所述BERT模型，将所述待分类文本的字或词输入到每个BERT模型，得到与每个BERT模型相对应的融合词向量包括以下步骤：

利用所述待分类文本的属性信息对所述待分类文本的字或词进行分隔处理，得到与所述属性信息相对应的初始词向量；

将所述初始词向量输入到所述多个注意力机制模型，得到与每个所述BERT模型相对应的所述融合词向量。

4.根据权利要求2所述的文本分类方法，其特征在于，每个所述输出子模型包括全连接层和激活函数，通过与每个BERT模型一一对应的输出子模型，对与每个BERT模型相对应的融合词向量进行分类处理，得到所述待分类文本的预测结果，包括：

通过所述全连接层对所述融合词向量进行处理，得到全连接向量；

采用激活函数对所述全连接向量进行处理，得到所述待分类文本的预测结果集合，所述预测结果集合包括多个标签种类；

将多个所述预测结果集合中相同标签种类对应的概率值的最大值作为所述待分类文本的预测结果。

5.根据权利要求1所述的文本分类方法，其特征在于，所述利用所述训练集和验证集按照训练学习算法初步构建得到第一BERT模型和与之对应的第一输出子模型包括：

获取历史文本数据，将所述历史文本数据分为训练集和验证集；

利用所述训练集对待构建的第一BERT模型和第一输出子模型进行训练，得到待验证的第一BERT模型和第一输出子模型；

利用所述验证集中对所述待验证的第一个BERT模型和第一输出子模型，按照损失函数最小化对所述待验证的第一BERT模型和第一输出子模型进行优化处理，得到第一BERT模型和第一输出子模型。