[发明专利]基于文本数据增强的文本分类方法及装置

说明书

本公开涉及文本处理技术领域，提供了一种基于文本数据增强的文本分类方法及装置。该方法包括：获取文本数据库，其中，文本数据库包括多个文档，每个文档包括多条语句；利用分词器对每条语句进行分词处理，得到每条语句对应的分词结果，其中，每个分词结果包括多个词语；计算每个词语的重要性评估值；根据每个词语的重要性评估值，对文本数据库进行多次采样，得到数据增强后的文本数据库；利用数据增强后的文本数据库，进行文本分类训练。采用上述技术手段，解决现有技术中，基于传统文本数据增强方法训练的文本分类模型存在泛化能力弱的问题。

技术领域

本公开涉及文本处理技术领域，尤其涉及一种基于文本数据增强的文本分类方法及装置。

背景技术

在模型训练中，为了得到大量的训练数据，往往会对训练数据进行数据增强处理，文本分类领域中的模型训练也是如此。目前的文本数据增强手段往往是随机以一定规则替换原文的部分词语，或随机增加和删除一部分词语，或对句子进行回译等。这些方式都是对原文基于某些规则进行直接修改，往往造成增强出来的新句子语义不通顺，或已经偏离原句语义很多，同时这些方式只是简单的增加了训练数据的数量，实际上对于模型的泛化能力并没有有效的提高。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下技术问题：基于传统文本数据增强方法训练的文本分类模型存在泛化能力弱的问题。

发明内容

有鉴于此，本公开实施例提供了一种基于文本数据增强的文本分类方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，基于传统文本数据增强方法训练的文本分类模型存在泛化能力弱的问题。

本公开实施例的第一方面，提供了一种基于文本数据增强的文本分类方法，包括：获取文本数据库，其中，文本数据库包括多个文档，每个文档包括多条语句；利用分词器对每条语句进行分词处理，得到每条语句对应的分词结果，其中，每个分词结果包括多个词语；计算每个词语的重要性评估值；根据每个词语的重要性评估值，对文本数据库进行多次采样，得到数据增强后的文本数据库；利用数据增强后的文本数据库，进行文本分类训练。

本公开实施例的第二方面，提供了一种基于文本数据增强的文本分类装置，包括：获取模块，被配置为获取文本数据库，其中，文本数据库包括多个文档，每个文档包括多条语句；分词模块，被配置为利用分词器对每条语句进行分词处理，得到每条语句对应的分词结果，其中，每个分词结果包括多个词语；计算模块，被配置为计算每个词语的重要性评估值；采样模块，被配置为根据每个词语的重要性评估值，对文本数据库进行多次采样，得到数据增强后的文本数据库；训练模块，被配置为利用数据增强后的文本数据库，进行文本分类训练。

本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。

本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

本公开实施例与现有技术相比存在的有益效果是：因为本公开实施例通过获取文本数据库，其中，文本数据库包括多个文档，每个文档包括多条语句；利用分词器对每条语句进行分词处理，得到每条语句对应的分词结果，其中，每个分词结果包括多个词语；计算每个词语的重要性评估值；根据每个词语的重要性评估值，对文本数据库进行多次采样，得到数据增强后的文本数据库；利用数据增强后的文本数据库，进行文本分类训练，因此，采用上述技术手段，可以解决现有技术中，基于传统文本数据增强方法训练的文本分类模型存在泛化能力弱的问题，进而提高文本分类模型的泛化能力。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。