[发明专利]一种文本的处理方法、装置、电子设备及存储介质

说明书

本申请提供了一种文本的处理方法、装置、电子设备及存储介质，其中，该处理方法包括：获取待处理文本中各个字符的字符特征向量；将所述待处理文本中各个字符的字符特征向量输入至预先训练好的文本处理模型中，获取所述文本处理模型输出的各个字符的字符类别；其中，所述文本处理模型是利用添加随机特征向量的扰动样本文本训练得到的；基于所述待处理文本中各个字符的字符类别，从所述待处理文本中提取多个实体，并确定各个实体的实体类别。本申请使用添加随机特征向量的扰动样本文本对文本处理模型进行训练，提高了文本处理模型的稳定性，在存在干扰时，实体提取模型输出的字符类别的准确度高，进而提高了识别出的实体以及实体类别的准确度。

技术领域

本申请涉及自然语言处理技术领域，具体而言，涉及一种文本的处理方法、装置、电子设备及存储介质。

背景技术

在自然语言处理技术领域，实体表示具体事物、个别主体、现象的支持者等含义，比如，人名、组织机构等，在文本的处理过程中，由于实体能够表示文本中的多种对象，因此，可以通过对文本中实体的识别，确定文本的主要内容。

现阶段，通常使用开源的实体提取模型对文本中的实体进行识别，比如，CRF模型，但是现有的实体提取模型抗干扰能力差，在存在干扰的情况下，实体提取模型识别出的实体的准确度低。

发明内容

有鉴于此，本申请实施例的目的在于提供一种文本的处理方法、装置、电子设备及存储介质，使用添加随机特征向量的扰动样本文本对文本处理模型进行训练，提高了文本处理模型的稳定性，在存在干扰时，实体提取模型输出的字符类别的准确度高，进而提高了识别出的实体以及实体类别的准确度。

第一方面，本申请实施例提供了一种文本的处理方法，所述处理方法包括：

获取待处理文本中各个字符的字符特征向量；

将所述待处理文本中各个字符的字符特征向量输入至预先训练好的文本处理模型中，获取所述文本处理模型输出的各个字符的字符类别；其中，所述文本处理模型是利用添加随机特征向量的扰动样本文本训练得到的；

基于所述待处理文本中各个字符的字符类别，从所述待处理文本中提取多个实体，并确定各个实体的实体类别。

在一种可能的实施方式中，所述获取所述文本处理模型输出的各个字符的字符类别，包括：

基于所述待处理文本中的各个字符的字符特征向量，确定所述待处理文本中的各个字符归属于每个字符类别的概率；

基于每个字符在所述待处理文本中的位置，该字符归属于每个字符类别的概率，以及与该字符相邻的其他字符归属于每个字符类别的概率，更新该字符归属于每个字符类别的概率；

基于所述待处理文本中各个字符归属于每个字符类别的更新后的概率，确定所述待处理文本中各个字符的字符类别。

在一种可能的实施方式中，通过如下方式对所述文本处理模型进行训练：

针对每个扰动样本文本，将该扰动样本文本中各个字符的扰动特征向量输入至文本处理模型中，获取所述文本处理模型输出的各个字符的预测字符类别；

根据该扰动样本文本中每个字符的预测字符类别，以及该字符的真实字符类别，确定该扰动样本文本对应的损失值；

若各个扰动样本文本对应的损失值均小于预设阈值，则将所述文本处理模型确定为预先训练好的文本处理模型，否则继续对所述文本处理模型进行训练。

在一种可能的实施方式中，通过如下方式获取每个扰动样本文本中各个字符的扰动特征向量；

根据每个扰动样本文本中每个字符的字符特征向量，以及该字符对应的随机生成的随机特征向量，确定该字符的扰动特征向量。

第二方面，本申请实施例提供了一种文本的处理装置，所述处理装置包括：