[发明专利]文本增强方法、文本增强模型的训练方法及装置

说明书

本申请实施例提供了一种文本增强方法、文本增强模型的训练方法及装置。其中，文本增强方法包括：获取待处理文本和待处理文本的目标增强类型；将待处理文本和目标增强类型输入文本增强模型中进行文本增强处理，得到增强文本；其中，增强文本符合目标增强类型对应的社会方言的语言特征；文本增强处理包括根据待处理文本的文本特征，确定与待处理文本相匹配的至少一种目标增强方式；以及根据目标增强类型和至少一种目标增强方式，对待处理文本进行文本增强处理。通过本申请实施例，提升了文本增强效果，实现了对特定类型的社会方言进行有针对性的文本增强。

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种文本增强方法、文本增强模型的训练方法及装置。

背景技术

文本增强是自然语言处理技术的典型之一，当前的文本增强方式，通常是基于文本的表层，随机的进行字词等的插入、删除或替换，形成的增强文本往往会存在不符合语法的问题。并且，由于用户的职业、社会地位、受教育程度等的不同，往往语言表述上也存在差异，由该差异形成的语言分层，可称为社会方言。社会方言可以包括企业家方言、作家方言、教师方言、学生方言等。当采用现有的文本增强方式对某种类型的社会方言进行文本增强时，很显然的，容易出现不符合该种类型的语言表述方式的问题，即存在文本增强效果低的问题。因此，如何有针对性的对特定类型的社会方言进行增强，是当前自然语言处理领域中需要解决的技术问题。

发明内容

本申请实施例的目的是提供一种文本增强方法、文本增强模型的训练方法及装置，以实现对特定类型的社会方言进行有针对性的文本增强，提升文本增强效果。

为了实现上述技术方案，本申请实施例是这样实现的：

第一方面，本申请实施例提供了一种文本增强方法，包括：

获取待处理文本和所述待处理文本的目标增强类型；

将所述待处理文本和所述目标增强类型输入文本增强模型中进行文本增强处理，得到增强文本；所述增强文本符合所述目标增强类型对应的社会方言的语言特征；

其中，所述文本增强处理包括：根据所述待处理文本的文本特征，确定与所述待处理文本相匹配的至少一种目标增强方式；根据所述目标增强类型和所述至少一种目标增强方式，对所述待处理文本进行文本增强处理。

可以看出，本申请实施例中，通过获取待处理文本和待处理文的目标增强类型，并基于文本增强模型根据待处理文本的文本特征，确定与待处理文本相匹配的至少一种目标增强方式，以及根据目标增强类型和目标增强方式对待处理文本进行文本增强处理，得到增强文本，该增强文本符合目标增强类型对应的社会方言的语言特征。由于是根据待处理文本的文本特征确定目标增强方式，深入到文本内部而不是局限于文本表层，因此所确定的目标增强方式能够更适合待处理文本，有利于提升文本增强效果。再者，根据目标增强类型和确定的目标增强方式，对待处理文本进行文本增强处理，避免了无目的的随机替换或插入，保障了得到的增强文本符合目标增强类型对应的社会方言的语言特征，不仅实现了对特定类型的社会方言的有针对性的文本增强，而且能够提升特定类型的社会方言的增强效率，还能够实现特定类型的社会方言语料库的有效扩充。

第二方面，本申请实施例提供了一种文本增强模型的训练方法，包括：

获取待训练的样本集；所述样本集中的每个样本标注有标签，所述标签包括所述样本所属的社会方言的类型信息和所述样本的句型信息；

将所述样本集输入待训练模型中进行迭代训练处理，得到文本增强模型；其中，所述文本增强模型用于根据待处理文本的文本特征，确定与所述待处理文本相匹配的至少一种目标增强方式；并根据所述待处理文本的目标增强类型和所述目标增强方式对所述待处理文本进行文本增强处理，得到增强文本；所述增强文本符合所述目标增强类型对应的社会方言的语言特征。