[发明专利]基于文本数据增强的文本分类方法及装置

权利要求书

1.一种基于文本数据增强的文本分类方法，其特征在于，包括：

获取文本数据库，其中，所述文本数据库包括多个文档，每个文档包括多条语句；

利用分词器对每条语句进行分词处理，得到每条语句对应的分词结果，其中，每个分词结果包括多个词语；

计算每个词语的重要性评估值；

根据每个词语的重要性评估值，对所述文本数据库进行多次采样，得到数据增强后的文本数据库；

利用数据增强后的文本数据库，进行文本分类训练。

2.根据权利要求1所述的方法，其特征在于，所述计算每个词语的重要性评估值，包括：

基于每个词语在该词语所在分词结果中出现的次数与该词语所在分词结果的词语总数，确定每个词语的词频；

基于出现每个词语的文档的数量与所述文本数据库中所有文档的总数量，确定每个词语的逆文档评率；

基于每个词语的词频和逆文档评率，确定每个词语的重要性评估值。

3.根据权利要求1所述的方法，其特征在于，所述根据每个词语的重要性评估值，对所述文本数据库进行多次采样，得到数据增强后的文本数据库，包括：

按照如下方式对所述文本数据库进行多次采样：

将所述重要性评估值小于目标阈值的词语以第一概率替换为掩码，将未替换为掩码的词语保留原始值。

4.根据权利要求1所述的方法，其特征在于，所述利用数据增强后的文本数据库，进行文本分类训练，包括：

获取所述文本分类训练的训练任务；

基于所述训练任务标注所述数据增强后的文本数据库中每个词语的标签；

利用标注标签后的文本数据库，进行文本分类训练。

5.根据权利要求3所述的方法，其特征在于，所述将所述重要性评估值小于目标阈值的词语以第一概率替换为掩码，将未替换为掩码的词语保留原始值之前，所述方法还包括：

获取所述文本分类训练的模型泛化指标；

根据所述模型泛化指标调整所述目标阈值和所述第一概率。

6.根据权利要求1所述的方法，其特征在于，所述利用数据增强后的文本数据库，进行文本分类训练，包括：

按照第二概率对所述数据增强后的文本数据库中的词语进行遮掩处理；

利用经过所述遮掩处理后的文本数据库进行所述文本分类训练；

其中，所述第二概率是由模型泛化指标、目标阈值和第一概率确定的。

7.根据权利要求5或6所述的方法，其特征在于，包括：

利用所述文本分类训练对应的模型对多种领域下的文本进行文本分类，并根据所述文本分类确定所述模型的准确率、精度和召回率；

根据所述模型的准确率、精度和召回率确定所述模型泛化指标。

8.一种基于文本数据增强的文本分类装置，其特征在于，包括：

获取模块，被配置为获取文本数据库，其中，所述文本数据库包括多个文档，每个文档包括多条语句；

分词模块，被配置为利用分词器对每条语句进行分词处理，得到每条语句对应的分词结果，其中，每个分词结果包括多个词语；

计算模块，被配置为计算每个词语的重要性评估值；

采样模块，被配置为根据每个词语的重要性评估值，对所述文本数据库进行多次采样，得到数据增强后的文本数据库；

训练模块，被配置为利用数据增强后的文本数据库，进行文本分类训练。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。