[发明专利]命名实体识别方法、装置、设备、介质和程序产品

说明书

本申请涉及人工智能技术领域，公开了一种命名实体识别方法、装置、设备、介质和程序产品，用于基于蒸馏学习的模型进行命名实体识别任务。方法部分包括：获取被识别句子；将被识别句子输入已训练得到的目标神经网络模型，得到被识别句子的词语属于第一标签集的各个第一标注标签的第一预测概率值，以及属于第二标签集的各个第二标注标签的第二预测概率值；将第一预测概率值最大的第一标注标签的标签类型作为词语的第一预测标签类型，并将第二预测概率值最大的第二标注标签的标签类型作为词语的第二预测标签类型；根据词语的第一预测标签类型和第二预测标签类型，确定词语的最终预测标签类型。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种命名实体识别方法、装置、设备、介质和程序产品。

背景技术

命名实体识别具有广泛的应用场景，命名实体识别也即是在给定的文本中识别感兴趣的命名实体名称，例如，实体名词包括地名，人名，公司名，时间和金额等。传统的命名识别方法包括利用训练好的预训练模模型(Bidirectional Encoder Representationfrom Transformers，BERT)+长短期记忆模型(Long short-term memory，LSTM)网络来实现命名实体识别，其中，LSTM是一种特殊的循环神经网络(recurrent neural network，RNN)。

上述传统的方案中，当应用场景转换采用的命名实体识别模型，一般在旧模型加上新数据上训练会降低对旧的标签类型的预测能力，而且在旧模型上加入新的参数以预测新的标签类型，在整合进来的大数据集和更大标签类型集合，需要重新标注大量所有新引入的数据，占据大量额外的对数据的标注处理资源，在实现命名识别任务前期需占用过多数据标注处理资源。

发明内容

本申请涉及人工智能技术领域，提供了一种命名实体识别方法、装置、设备、介质和程序产品，以解决传统的方案需要重新标注大量所有新引入的数据，占据大量额外的对数据的标注处理资源的技术问题。

一种命名实体识别方法，方法包括：

获取被识别句子；

将被识别句子输入已训练得到的目标神经网络模型，得到被识别句子的词语属于第一标签集的各个第一标注标签的第一预测概率值，以及属于第二标签集的各个第二标注标签的第二预测概率值；

将第一预测概率值最大的第一标注标签的标签类型作为词语的第一预测标签类型，并将第二预测概率值最大的第二标注标签的标签类型作为词语的第二预测标签类型；

根据词语的第一预测标签类型和第二预测标签类型，确定词语的最终预测标签类型；

其中，目标神经网络模型为已训练好命名实体识别模型作为老师网络模型对学生网络模型进行蒸馏训练得到。

可选地，第一标签集和第二标签集均采用BIO序列标注，根据词语的第一预测标签类型和第二预测标签类型，确定词语的最终预测标签类型，包括：

当第一预测标签类型和第二预测标签类型均为标签类型O，则确定词语的最终预测标签类型为标签类型O；

当第一预测标签类型和第二预测标签类型中，其中一个为标签类型B，另一个为标签类型O，则确定词语的最终预测标签类型为标签类型B；

当第一预测标签类型和第二预测标签类型均为标签类型B，则从第一预测标签类型和第二预测标签类型中取预测概率值最大的标签类型作为最终预测标签类型；

当第一预测标签类型和第二预测标签类型两者中，其中一个预测标签类型是标签类型I，则根据词语的前一词语的标签类型和实体命名类别确定最终预测标签类型。

可选地，根据词语的前一词语的标签类型和实体命名类别确定最终预测标签类型，包括：