[发明专利]一种基于情感分析的数据增强方法和系统

说明书

本发明提供一种基于情感分析的数据增强方法和系统，方法包括：建立同义词表或使用公开同义词表，获取并建立需要进行数据增强的文本数据的数据集；分析所述文本数据的情感状态；对所述数据集的同义词进行情感分析和分类；在与数据集具有相同情感状态的同义词中，采用数据增强算法对所述数据集进行数据增强。该方法在使用数据增强算法之前对同义词进行情感分类，判断数据增强算法使用同义词替换时的情感状态，使用同义词替换方法时，所使用的同义词都在同一个情感分类中，所生成语句基本保持了原有句子的情感状态。并考虑使用数据增强后，增强的数据和原始句子情感状态一致。减少了在采用数据增强算法进行数据增强时，对原有句子的情感状态的影响。

技术领域

本发明涉及机器学习技术领域，具体涉及一种基于情感分析的数据增强方法和系统。

背景技术

在自然语言处理任务中，常常需要大量的数据进行下游任务，并且越来越多的模型需要大量的数据进行训练，但是我们常常会遇到数据不足的情况或数据不均衡的情况。比如，当前有一个任务，目前只有几百的数据，但是模型需要更多的数据进行分析和训练。或者对于一些任务，每一个类别的数据不均衡，比较少数据的有几十，比较多的数据有几万。

对于以上一些需求和任务，我们使用数据增强的方法进行解决。数据增强是一种有效扩充数据样本规模的方法，数据规模越大、质量越好，才能增强模型的泛化能力。目前数据增强已经大量应用在图像领域，通过翻转、旋转、镜像等技巧实现。但是在自然语言处理领域，数据增强方法还比较有限，也存在很多问题。针对自然语言处理任务的数据增强的问题，当前主要有回译、简易数据增强方法、上下文增强方法、马尔可夫增强方法等这几种有效方法。数据增强方法是其中一种简单普遍的方法，被广泛用于自然语言处理领域文本数据增强中。

在自然语言处理任务中经常涉及大量文本的处理，例如语义分析，文本分类，事件抽取等。在这些任务中由于数据量不均衡或数据量较少，常常使用数据增强的方法进行处理。其中简易数据增强方法较为基础也较为常用，但使用中会有一些处理方面的问题。

在简易数据增强的方法中，主要是使用同义词或近义词替换、随机插入、随机交换、随机删除的方法进行数据增强。在使用同义词或近义词替换这个方法中，一般的方法是使用同义词表进行替换或者找到一些相似的词语进行替换，但是替换词语后，句子的原始情感和生成句子的情感可能产生变化，会影响句子整体的含义，但数据增强并未对此方面进行考虑。此时会出现一些问题，比如原始句子的情感是积极的，经过简易数据增强的方法增强后，句子的情感可能变为消极的，此类的生成的数据会对自然语言处理下游任务产生一定的影响，例如舆情分析或案件分类等任务中。

发明内容

因此，为了能够解决上述技术问题，在使用数据增强方法在自然语言处理领域进行数据增强时，其中涉及到使用同义词或近义词进行替换时，考虑替换词语的情感表达，使得原始句子经过单词替换后，句子的原始情感和替换后的情感状态一致。并考虑使用随机插入、随机交换、随机删除的方法进行数据增强后，保持数据增强后的句子和原始句子情感状态一致。解决了原始数据增强方法在生成句子时，原始句子和生成句子情感状态不一样的问题。

其具体技术方案如下：

为实现上述目的，本发明实施例提供一种基于情感分析的数据增强方法，包括步骤：

建立同义词表或使用公开同义词表；

获取并建立需要进行数据增强的文本数据的数据集；

对所述数据集中需要增强的文本数据进行情感分析和分类；

在与所述数据集具有相同情感状态的同义词表中，采用数据增强算法对所述数据集进行数据增强。

进一步的，所述需要增强的文本数据的分类方式包括：

正向情和负向情感两大类；

或者，正向情感、负向情感、中性情感三大类。