[发明专利]文本处理模型训练方法、装置、计算机设备及存储介质

说明书

本申请实施例提供一种文本处理模型训练方法、装置、计算机设备及存储介质，可以获取训练文本的原始文本信息；对原始文本信息进行特征提取，得到原始文本信息的原始文本特征；根据原始文本特征，确定与原始文本信息对应的目标相似文本信息；根据原始文本信息和目标相似文本信息，对文本处理模型进行训练，得到训练后文本处理模型，训练后文本处理模型用于对文本进行识别；由于本申请实施例可以确定与原始文本信息对应的目标相似文本信息，如此基于原始文本信息和目标相似文本信息对文本处理模型进行训练，可以提高得到的训练后文本处理模型的泛化性能和准确率。

技术领域

本申请涉及人工智能技术领域，具体涉及一种文本处理模型训练方法、装置、计算机设备及存储介质，该存储介质为计算机可读存储介质。

背景技术

当前，大多数文本业务场景要用到文本处理模型对文本进行处理。在对文本处理模型进行训练的过程中需要用到训练样本。训练样本中如果存在相关文本信息，可以认为训练数据中存在大量同质化的文本信息，同质化是指训练样本中存在相同或相似的文本信息。

例如，将训练数据集分为A子集和B子集，该训练数据集中的每个训练样本由4种文本信息构成，4种文本信息分别为文本信息1、文本信息2、文本信息3和文本信息4。若A子集中每个训练样本包含文本信息1和文本信息2，则称文本信息1和文本信息2为相关文本信息，可以确定A子集中存在同质化的文本信息。若B子集中的每个训练样本包含文本信息3和文本信息4，则称文本信息3和文本信息4是相关文本信息，可以确定B子集中存在同质化的文本信息。

在这种情况下，采用存在相关文本信息的训练样本对文本处理模型进行训练，会存在训练所得到的训练后文本处理模型的泛化性能较低和准确率较低的问题。

发明内容

本申请实施例提供一种文本处理模型训练方法、装置、计算机设备及存储介质，该存储介质为计算机可读存储介质，能够提高训练后文本处理模型的泛化性能和准确率。

一种文本处理模型训练方法，包括：

获取训练文本的原始文本信息；

对原始文本信息进行特征提取，得到原始文本信息的原始文本特征；

根据原始文本特征，确定与原始文本信息对应的目标相似文本信息；

根据原始文本信息和目标相似文本信息，对文本处理模型进行训练，得到训练后文本处理模型，所述训练后文本处理模型用于对文本进行识别。

相应地，本申请实施例提供一种文本处理模型训练装置，包括：

获取单元，可以用于获取训练文本的原始文本信息；

提取单元，可以用于对原始文本信息进行特征提取，得到原始文本信息的原始文本特征；

确定单元，可以用于根据原始文本特征，确定与原始文本信息对应的目标相似文本信息；

训练单元，可以用于根据原始文本信息和目标相似文本信息，对文本处理模型进行训练，得到训练后文本处理模型，训练后文本处理模型用于对文本进行识别。

在一些实施例中，确定单元，具体可以用于确定与原始文本特征维度匹配的参考文本特征；根据原始文本特征和参考文本特征，确定与原始文本信息对应的目标相似文本信息。

在一些实施例中，确定单元，具体可以用于根据原始文本特征和参考文本特征，计算原始文本特征和参考文本特征之间的差异信息；根据差异信息，确定与原始文本信息对应的目标相似文本信息。

在一些实施例中，确定单元，具体可以用于根据原始文本特征和参考文本特征，计算原始文本特征和参考文本特征之间在映射空间中的目标距离信息；将目标距离信息作为差异信息。