[发明专利]文本数据的增强方法、装置、设备及计算机可读存储介质

说明书

本申请公开了一种文本数据的增强方法、装置、设备及计算机可读存储介质，属于人工智能技术领域。方法包括：获取待进行数据增强的训练文本数据；在训练文本数据中确定至少一个需要进行替换的目标内容，目标内容的内容类型为文字、词语、命名实体和句子中的任一种；确定各个目标内容分别对应的参考内容，任一目标内容对应的参考内容与任一目标内容的内容类型相同、且与任一目标内容的内容不同；将训练文本数据中的目标内容替换为目标内容对应的参考内容，得到目标文本数据，训练文本数据和目标文本数据用于对神经网络模型进行训练。由于目标内容的内容类型是多样的，使得数据增强的方式多样化。

技术领域

本申请实施例涉及人工智能技术领域，特别涉及一种文本数据的增强方法、装置、设备及计算机可读存储介质。

背景技术

随着人工智能技术的不断发展，神经网络模型在图像识别、物体检测、场景分割等任务上取得了显著的效果。通过利用大规模的数据对神经网络模型进行训练，能够提高神经网络模型的鲁棒性和泛化能力。

针对训练数据不足的情况，亟需一种文本数据的增强方法对训练数据进行数据增强，进而增大训练数据的数量，提高训练数据的多样性，采用训练数据对神经网络模型进行训练时，能够提高训练得到的神经网络模型的泛化能力。

发明内容

本申请实施例提供了一种文本数据的增强方法、装置、设备及计算机可读存储介质，可用于解决相关技术中的问题。所述技术方案如下：

一方面，本申请实施例提供了一种文本数据的增强方法，所述方法包括：

获取待进行数据增强的训练文本数据；

在所述训练文本数据中确定至少一个需要进行替换的目标内容，所述目标内容的内容类型为文字、词语、命名实体和句子中的任一种；

确定各个目标内容分别对应的参考内容，任一目标内容对应的参考内容与所述任一目标内容的内容类型相同、且与所述任一目标内容的内容不同；

将所述训练文本数据中的目标内容替换为所述目标内容对应的参考内容，得到目标文本数据，所述训练文本数据和所述目标文本数据用于对神经网络模型进行训练。

另一方面，本申请实施例提供了一种文本数据的增强装置，所述装置包括：

获取模块，用于获取待进行数据增强的训练文本数据；

确定模块，用于在所述训练文本数据中确定至少一个需要进行替换的目标内容，所述目标内容的内容类型为文字、词语、命名实体和句子中的任一种；

所述确定模块，还用于确定各个目标内容分别对应的参考内容，任一目标内容对应的参考内容与所述任一目标内容的内容类型相同、且与所述任一目标内容的内容不同；

替换模块，用于将所述训练文本数据中的目标内容替换为所述目标内容对应的参考内容，得到目标文本数据，所述训练文本数据和所述目标文本数据用于对神经网络模型进行训练。

在一种可能的实现方式中，所述确定模块，用于确定所述训练文本数据中包括的候选内容的第一数量，所述候选内容的内容类型与所述目标内容的内容类型相同；根据所述第一数量和内容增强比率，确定第二数量，所述第二数量为需要进行替换的内容的个数，所述内容增强比率基于所述候选内容的内容类型确定；在所述训练文本数据中包括的候选内容中确定所述第二数量个互不相同的候选内容；将所述第二数量个互不相同的候选内容作为所述目标内容。

在一种可能的实现方式中，所述确定模块，用于确定各个目标内容分别对应的内容类型；基于所述各个目标内容分别对应的内容类型，确定所述各个目标内容分别对应的参考内容的确定方式；按照所述各个目标内容分别对应的参考内容的确定方式，确定所述各个目标内容分别对应的参考内容。

在一种可能的实现方式中，所述目标内容的内容类型为文字；