[发明专利]基于bert的命名实体识别方法、系统、电子设备及存储介质

权利要求书

1.一种基于bert的命名实体识别方法，其特征在于，包括：

根据识别需求确定命名实体标签，所述命名实体标签用于识别文本的命名实体；

获取训练集，所述训练集根据命名实体标签进行标注，包括标注好的多个训练文本，一个训练文本对应一个输入句子；

分别将每一个训练文本进行分词，得到每一个训练文本所对应的词序列；

将词序列输入bert特征表示层中得到所述训练文本中每个词的词向量；

将词向量输入至BiLSTM模型中，得到BiLSTM模型输出；

将BiLSTM模型输出输入至CRF模型进行训练，得到实体识别模型；

获取待识别文本；

将待识别文本输入实体识别模型中得到识别结果；

获取归一化词典，所述归一化词典中包含所有命名实体的全称和简称；

将识别结果与归一化词典进行匹配，得到归一化的识别结果。

2.根据权利要求1所述的基于bert的命名实体识别方法，其特征在于，获取归一化词典的步骤中，包括：

获取百科语料；

将预先存储的命名实体的名称在百科语料中进行匹配，得到第一词典；

获取互联网上的全称-简称词典；

根据全称-简称词典得到第二词典；

获取互联网上的公司资料；

根据公司资料得到第三词典；

根据第一词典、第二词典和第三词典得到归一化词典。

3.根据权利要求2所述的基于bert的命名实体识别方法，其特征在于，将预先存储的命名实体的名称在百科语料中进行匹配，得到第一词典的步骤中，包括：

将预先存储的命名实体的名称在百科语料中进行全称匹配，得到名称所对应的全称；

在百科语料中查找简称引导词，并根据简称引导词匹配名称所对应的简称；

将名称所对应的全称和简称构成第一词典。

4.根据权利要求2所述的基于bert的命名实体识别方法，其特征在于，根据第一词典、第二词典和第三词典得到归一化词典的步骤之后，还包括：

对归一化词典进行去重处理，得到去重后的归一化词典。

5.根据权利要求1所述的基于bert的命名实体识别方法，其特征在于，将识别结果与归一化词典进行匹配，得到归一化的识别结果的步骤中，包括：

将识别结果在归一化词典中进行完全匹配，得到匹配结果；

若匹配结果为匹配成功，则将识别结果所对应的全称作为归一化的识别结果；

若匹配结果为匹配失败，则计算识别结果和归一化词典中字符串的相似度；

判断相似度是否大于预设值；

若相似度大于预设值，则将归一化字典中字符串所对应的全称作为归一化的识别结果；

若相似度小于或者等于预设值，则将识别结果作为归一化的识别结果。

6.根据权利要求5所述的基于bert的命名实体识别方法，其特征在于，计算识别结果和归一化词典中字符串的相似度的步骤中，包括：

计算识别结果和归一化词典中字符串的交集和并集；

将交集和并集的比例作为识别结果和归一化词典中字符串的相似度。