[发明专利]嵌套命名实体识别模型的训练方法、装置、设备和介质

说明书

本发明涉及嵌套命名实体识别模型的训练方法、装置、电子设备和存储介质，该方法包括：获取标注好的数据集，根据数据集确定第一数据集，根据第一数据集确定实体词边界预测结果；根据实体词边界预测结果确定实体类型预测结果；根据第一数据集、实体词边界预测结果和实体类型预测结果计算实体词边界预测损失和实体类型预测损失；根据实体词边界预测损失和实体类型预测损失调整模型参数得到嵌套命名实体识别模型。本申请实施例没有使用堆叠式的模型，避免了堆叠式LSTM+CRF错误传递的问题，并将实体词边界预测损失与实体类型预测损失结合起来调整模型参数得到嵌套命名实体识别模型，因为模型联合了实体词边界与实体类型的信息，提高了嵌套命名实体识别能力。

技术领域

本发明涉及人工智能技术领域，具体涉及一种嵌套命名实体识别模型的训练方法、装置、电子设备和存储介质。

背景技术

目前，现有的嵌套命名实体识别技术普遍采用多层堆叠的BiLSTM+CRF，速度较慢，并且因为堆叠式模型存在错误传递的情况，因此导致指标会较低。

嵌套命名实体识别难度较大，目前的技术对于这类问题普遍没有较好的解决方案。

发明内容

本发明提供一种嵌套命名实体识别模型的训练方法、装置、电子设备和存储介质，能够解决上述嵌套命名实体识别难度较大、堆叠式模型存在错误传递的技术问题。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明实施例提供了一种嵌套命名实体识别模型的训练方法，包括：

获取标注好的数据集，数据集包括：文字样本和文字样本对应的实体标签；

根据数据集确定第一数据集，第一数据集包括：文字样本、文字样本对应的实体标签和实体标签边界对应的位置坐标表示；

根据第一数据集确定实体词边界预测结果；

根据实体词边界预测结果确定实体类型预测结果；

根据第一数据集、实体词边界预测结果和实体类型预测结果计算实体词边界预测损失和实体类型预测损失；

根据实体词边界预测损失和实体类型预测损失调整模型参数得到嵌套命名实体识别模型。

在一些实施例中，上述一种嵌套命名实体识别模型的训练方法中，所述根据所述第一数据集确定实体词边界预测结果，包括：

根据第一数据集确定第一数据集对应的字向量；

将第一数据集对应的字向量中每个字向量分别输入全连接层和softmax函数得到实体词边界预测结果。

在一些实施例中，上述一种嵌套命名实体识别模型的训练方法中，所述根据所述实体词边界预测结果确定实体类型预测结果，包括：

根据实体词边界预测结果中实体开始位置和实体结束位置确定实体区间；

将实体区间输入全连接层和softmax函数得到实体类型预测结果。

在一些实施例中，上述一种嵌套命名实体识别模型的训练方法中，所述根据所述数据集确定第一数据集，包括：

将数据集中文字样本对应的实体词标签替换为只标注实体词开始的标签和实体词结束的标签；

根据只标注实体词开始的标签和实体词结束的标签确定实体标签边界对应的位置坐标表示；

数据集和实体词标签边界对应的位置坐标表示组成了第一数据集。

在一些实施例中，上述一种嵌套命名实体识别模型的训练方法中，根据第一数据集确定第一数据集对应的字向量，包括：

将第一数据集中的文字样本输入到预训练BERT模型中；