[发明专利]用于文本分类的数据增强方法、装置及电子设备

说明书

本申请涉及一种用于文本分类的数据增强方法、装置及电子设备，提升了文本数据的增强效果，在处理事件与文本数据增强效果上达到较好的平衡性，该方法包括：获取用于文本分类的训练数据集；利用文本分类模型确定训练数据集中每个样本对应的预测类别标签；基于每个样本对应的真实类别标签和预测类别标签，获得表征文本分类模型分类准确度的混淆矩阵；基于混淆矩阵，确定每种类别标签对应的增强概率；针对训练数据集中的每种类别标签，按照该种类别标签所对应的增强概率，从真实类别标签为该种类别标签的样本中确定出待增强样本，并对每个待增强样本进行相应的数据增强处理；用增强后的样本替换训练数据集对应的样本，以获得增强后的训练数据集。

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种用于文本分类的数据增强方法、装置及电子设备。

背景技术

在解决自然语言处理方面的各类任务需求时，对原始文本进行数据增强已被证实是有效的，而多种数据增强方法的组合策略，能够进一步提升模型的性能。在对数据进行增强时，普遍的做法是对所有文本数据无差别地应用某种增强方法或者某种组合增强策略，而增强方法中使用的参数通常是根据人为经验指定的，或者经过不断重复训练模型反向迭代得到，例如组合增强策略中选择某增强方法的概率。但是，人为经验指定缺乏合理性的指导依据，不够理性，而不断重复训练模型寻找最优参数这种做法，随着参数数量的提升，搜索寻优空间扩增，计算成本也随之增大，很难平衡计算时间与文本数据增强效果。

发明内容

本申请实施例提供一种用于文本分类的数据增强方法、装置、电子设备及存储介质，提升了文本数据的增强效果，在处理事件与文本数据增强效果上达到较好的平衡性。

第一方面，本申请一实施例提供了一种用于文本分类的数据增强方法，包括：

获取用于文本分类的训练数据集，所述训练数据集包括每个样本对应的真实类别标签；

利用文本分类模型确定所述训练数据集中每个样本对应的预测类别标签；

基于每个样本对应的真实类别标签和预测类别标签，获得表征所述文本分类模型分类准确度的混淆矩阵；

基于所述混淆矩阵，确定每种类别标签对应的增强概率；

针对所述训练数据集中的每种类别标签，按照该种类别标签所对应的增强概率，从真实类别标签为该种类别标签的样本中确定出待增强样本，并对每个待增强样本进行相应的数据增强处理；

用增强后的样本替换所述训练数据集对应的样本，以获得增强后的训练数据集。

可选地，所述混淆矩阵包括每种真实类别标签下的样本被预测为各种类别标签的样本数量，所述基于所述混淆矩阵，确定每种类别标签对应的增强概率，包括：

根据如下公式确定每种类别标签对应的增强概率：

P_i＝1-S_i，

其中，P_i表示第i种类别标签L_i对应的增强概率，e为自然常数，表示真实类别标签为L_i的样本中预测类别标签为L_i的样本的数量占比，表示真实类别标签为L_i的样本中预测类别标签为L_j的样本的数量占比，J为训练数据集包含的类别标签的数量。

可选地，所述按照该种类别标签所对应的增强概率，从真实类别标签为该种类别标签的样本中确定出待增强样本，包括：

对真实类别标签为该种类别标签的每个样本，按照该种类别标签所对应的增强概率，确定该样本是否为待增强样本；或者，

从真实类别标签为该种类别标签的样本中随机选出m个样本，作为待增强样本，其中，m＝P×n，P表示该种类别标签所对应的增强概率，n表示所述训练数据集中真实类别标签为该种类别标签的样本的总数。