[发明专利]数据增强处理方法及装置

权利要求书

1.一种数据增强处理方法，其特征在于，所述方法包括：

按照文本集合中标注文本的类别标签，将所述文本集合划分为与所述类别标签对应的文本子集合；

对各文本子集合中的标注文本进行单句切分，获得所述各文本子集合的单句集合；

基于所述各文本子集合的单句集合，对所述各文本子集合中的标注文本进行数据增强，获得多个新增文本；

识别所述多个新增文本的类别标签，并在所述多个新增文本中筛选类别标签与对应的标注文本的类别标签相同的目标文本；

根据所述目标文本和所述文本集合中的标注文本构建目标文本集合。

2.根据权利要求1所述的方法，其特征在于，对所述各文本子集合中任一文本子集合中的任一标注文本，实现数据增强的方式包括：

获取所述任一标注文本中包含的单句的第一数目；

若所述第一数目小于或者等于预设阈值，则在所述任一文本子集合的单句集合中确定与所述预设阈值对应数目的目标单句；

将所述目标单句添加至所述任一标注文本，并将添加处理后获得的文本作为所述任一标注文本对应的新增文本。

3.根据权利要求2所述的方法，其特征在于，所述获取所述任一标注文本中包含的单句的第一数目操作执行之后，还包括：

若所述第一数目大于所述预设阈值，则通过预设算法确定第二数目，所以第二数目用于在所述任一文本子集合的单句集合中筛选与所述第二数目对应数目的单句作为替换单句；

基于所述替换单句对所述任一标注文本中的单句进行替换处理，并将替换处理后获得的文本作为所述任一标注文本对应的新增文本。

4.根据权利要求3所述的方法，其特征在于，所述基于所述替换单句对所述任一标注文本中的单句进行替换处理，包括：

通过随机算法生成小于所述第一数目的随机数；

确定所述任一标注文本中单句顺序编号与所述随机数相等的待替换单句，并将所述待替换单句替换为所述替换单句。

5.根据权利要求1所述的方法，其特征在于，所述识别所述多个新增文本的类别标签，包括：

将所述多个新增文本输入第一文本类别识别模型进行文本类别识别，输出所述多个新增文本各自的类别标签；

其中，所述第一文本类别识别模型基于所述文本集合中的标注文本训练获得。

6.根据权利要求1所述的方法，其特征在于，所述根据所述目标文本和所述文本集合中的标注文本构建目标文本集合步骤执行之后，还包括：

将测试文本集合中的测试文本输入文本类别识别模型进行文本类别识别，输出所述测试文本的类别标签；所述文本类别识别模型基于所述文本集合中的标注文本训练获得；

基于所述测试文本的类别标签和所述测试文本的标注类别标签，得到所述文本类别识别模型的第一识别指标；

若所述第一识别指标大于第二识别指标且小于目标阈值，则对所述目标文本进行数据增强，得到第一目标文本；

基于所述第一目标文本对所述文本类别识别模型进行训练，得到目标文本类别识别模型；

其中，所述第二识别指标基于所述标注类别标签和所述测试文本的第二类别标签得到；所述第二类别标签由第一文本类别识别模型对所述测试文本进行文本类别识别后输出。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

若所述第一识别指标小于或者等于所述第二识别指标，则对所述文本集合中的标注文本进行数据增强，获得第二目标文本；

根据所述第二目标文本和所述文本集合中的标注文本构建第一目标文本集合。

8.根据权利要求1所述的方法，其特征在于，所述对各文本子集合中的标注文本进行单句切分，获得所述各文本子集合的单句集合，包括：

按照单句切分标识对所述各文本子集合中的标注文本进行单句切分，得到所述各文本子集合的第一单句集合；

对所述各文本子集合的第一单句集合中的单句进行去重处理，得到所述各文本子集合的单句集合。