[发明专利]训练实体识别模型的方法及系统和实体识别方法及系统

说明书

公开了一种用于训练实体识别模型的方法，包括：构造训练集；以及将该训练集中的训练样本输入到实体识别模型，以得到该训练样本中的句子的序列标注预测输出和实体匹配预测输出，基于该句子的序列标注预测输出和该句子的序列标注标签确定该句子的序列标注损失；至少部分地基于该句子的实体匹配预测输出和该句子的隐喻实体标签确定该句子的实体匹配损失；确定该实体识别模型的总损失，该总损失为该序列标注损失和该实体匹配损失的加权和；以及迭代执行训练以最小化该实体识别模型的总损失，从而得到经训练的实体识别模型。本申请还涉及相对应的实体识别方法以及相关系统、装置和介质。本方案能够全面、高效地识别出包括隐喻实体在内的感兴趣实体。

技术领域

本申请涉及句子中的实体识别，尤其涉及用于训练实体识别模型的方法和实体识别方法及相关系统、装置和介质。

背景技术

命名实体识别技术已经得到广泛应用。在命名实体识别技术中，机器学习模型已经被用于识别文本(如句子)中的命名实体。命名实体识别技术又可称为“专名识别”，可识别出文本中的人名、地名、机构名、专有名词等。命名实体识别技术可具有许多应用，例如用于文本分析、问答对话、机器翻译等等。

然而，在许多情况下，文本(如句子)中可能并不包括实体本身。例如，对于“我点的饭配送超时太久了”这一句子，其所指向的实体可能是某网络订餐服务，然而该句子中本身并不包括该网络订餐服务的名称。本领域现有的实体识别方案尚未能解决这一问题。实际上，现有技术中可能从未认识到这一问题的存在。

因此，需要能够准确识别更加全面地识别文本中的实体的方案。

发明内容

为了克服现有技术的缺陷，本说明书的一个或多个实施例使用基于K-BERT的模型来执行序列标注和实体匹配两种任务，从而能够全面、高效地识别出文本中的实体，包括显式感兴趣实体以及隐喻实体。

本说明书的一个或多个实施例通过以下技术方案来实现其上述目的。

在一个方面中，提供了一种1.一种用于训练实体识别模型的方法，包括：

构造训练集，其中所述训练集包括多个训练样本d＝{S_input,X_NER,X_TER}，其中S_input为句子，X_NER为该句子的序列标注标签，X_TER为该句子的隐喻实体标签，所述隐喻实体标签用于表示该句子的隐喻实体，其中隐喻实体是该句子实际指向、但未出现在该句子中的实体；

使用所述训练集对所述实体识别模型执行训练，所述实体识别模型基于经预训练的K-BERT模型，其中对所述实体识别模型执行训练包括：

将所述训练集中的训练样本输入到实体识别模型，以得到该训练样本中的句子的序列标注预测输出和实体匹配预测输出，

基于该句子的序列标注预测输出和该句子的序列标注标签确定该句子的序列标注损失Loss_sequence；

至少部分地基于该句子的实体匹配预测输出和该句子的隐喻实体标签确定该句子的实体匹配损失Loss_match；

确定所述实体识别模型的总损失Loss_total，所述总损失为所述序列标注损失和所述实体匹配损失的加权和，即：Loss_total＝Loss_sequence+α*Loss_match，其中α指示实体匹配损失的权重；以及

迭代执行训练以最小化所述实体识别模型的总损失，从而得到经训练的实体识别模型。

优选地，与所述句子相关联的知识图谱也被输入到所述实体识别模型。

优选地，确定该句子的实体匹配损失Loss_match包括：

使用与所述知识图谱相关联的图神经网络来生成该句子的隐喻实体向量；