[发明专利]命名实体识别模型的训练方法、装置、设备及存储介质

说明书

本申请涉及自然语言处理技术领域，具体公开了命名实体识别模型的训练方法、装置、设备和存储介质，通过遍历文本截取多个文本片段并将其用于模型的训练，得到了能够识别嵌套命名实体的模型。方法包括：遍历文本对文本进行截取得到多个文本片段，将文本输入Transformer层和全连接层得到每个字的第一向量和第二向量，第一向量为每个字作为实体第一边界的表征向量，第二向量为每个字作为实体第二边界的表征向量。将文本片段的第一个字的第一向量和最后一个字的第二向量输入双线性模型得到文本片段的表征向量，并将其输入Softmax层输出文本片段的命名实体类别的预测结果。根据预测结果及提前标注的真实结果计算的损失值优化模型的参数，得到训练好的模型。

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种命名实体识别模型的训练方法、装置、计算机设备及存储介质。

背景技术

命名实体识别(NER,Name Entity Recognition)是自然语言处理的基础研究内容之一，其任务是识别文本中的语言块。命名实体识别在实际应用中经常要面对命名实体嵌套的问题。命名实体的嵌套使得文字与实体标签之间无法建立一对一的对应关系。例如，对于文本“腰间盘突出吃什么药”，“腰间盘”是一种命名实体，类型是“身体部位”，“腰间盘突出”是一种命名实体，类型是“疾病症状”。由于两个命名实体相互嵌套，一般的命名实体识别模型没法同时抽取这两个实体。

发明内容

本申请提供了一种命名实体识别模型的训练方法、装置、计算机设备及存储介质，通过遍历文本得到所有可能的文本片段，并训练分类器对每个文本片段进行命名实体的识别和类型的预测，解决了嵌套实体的识别问题。

第一方面，本申请提供了一种命名实体识别模型的训练方法，所述训练方法包括：

遍历文本对所述文本进行截取得到多个文本片段，其中，所述多个文本片段的长度不小于第一预设长度且也不大于第二预设长度；

将所述文本输入所述Transformer层和全连接层，得到所述文本中的每个字的第一向量和第二向量，其中，所述第一向量表示将所述每个字作为命名实体第一边界的表征向量，所述第二向量表示将所述每个字作为命名实体第二边界的表征向量；

将每个所述文本片段的第一个字的第一向量和最后一个字的第二向量输入所述双线性模型，得到每个所述文本片段的表征向量；

将每个所述文本片段的表征向量输入所述Softmax层，输出每个所述文本片段的命名实体类别的预测结果；

根据每个所述文本片段的命名实体类别的预测结果和提前标注的所述文本片段的命名实体类别的真实结果计算损失值，并根据所述损失值优化所述命名实体识别模型的参数，得到训练好的命名实体识别模型。

第二方面，本申请还提供了一种命名实体识别模型的训练装置，所述训练装置包括：

文本片段截取模块，用于遍历文本对所述文本进行截取得到多个文本片段，其中，所述多个文本片段的长度不小于第一预设长度且也不大于第二预设长度；

字向量确定模块，用于将所述文本输入所述Transformer层和全连接层，得到所述文本中的每个字的第一向量和第二向量，其中，所述第一向量表示将所述每个字作为命名实体第一边界的表征向量，所述第二向量表示将所述每个字作为命名实体第二边界的表征向量；

文本片段向量确定模块，用于将每个所述文本片段的第一个字的第一向量和最后一个字的第二向量输入所述双线性模型，得到每个所述文本片段的表征向量；

实体类别预测模块，用于将每个所述文本片段的表征向量输入所述Softmax层，输出每个所述文本片段的命名实体类别的预测结果；