[发明专利]一种基于自蒸馏的命名实体识别与纠错方法

权利要求书

1.一种基于自蒸馏的命名实体识别与纠错方法，其特征在于，包括：

针对命名实体识别模型进行训练；所述命名实体识别模型包括第一层模型、第二层模型和第三层模型；所述第一层模型用于根据无标注数据进行训练，以及将所述第一层模型中的概率分布压缩到所述第二层模型中；所述第二层模型用于进行命名实体提取；所述第三层模型用于对提取的所述命名实体进行错误检测，以及，在检测到错误后进行错误修正；

获取待提取命名实体的文本并输入所述命名实体识别模型；

通过所述命名实体识别模型进行所述命名实体的提取。

2.如权利要求1所述的方法，其特征在于，所述第一层模型为bert-large模型；

针对所述bert-large模型进行训练，包括：

针对所述bert-large模型进行无标注数据训练，和，针对所述bert-large模型进行垂直领域数据微调训练。

3.如权利要求1所述的方法，其特征在于，所述第二层模型为Transformer Encoder模型；

针对所述Transformer Encoder模型进行训练，包括：

通过所述文本中每个字词的上下文特征进行所述Transformer Encoder模型的训练；其中，预先通过分支自蒸馏的方式将所述第一层模型的概率分布压缩到所述TransformerEncoder模型中，以及，使用所述第一层模型的全连接层输出作为预训练词向量。

4.如权利要求1所述的方法，其特征在于，所述第三层模型为CBOW模型；

针对所述CBOW模型进行训练，包括：

通过规整的文本数据进行垂直领域的CBOW模型的训练。

5.如权利要求1所述的方法，其特征在于，对提取的所述命名实体进行错误检测，包括：

计算所述命名实体的语法逻辑合理性并打分；

若所述命名实体的语法逻辑合理性打分高于预设第一阈值，则将提取的所述命名实体作为结果输出；

若所述命名实体的语法逻辑合理性打分低于所述预设第一阈值，则确认提取的所述命名实体错误。

6.如权利要求1所述的方法，其特征在于，所述在检测到错误后进行错误修正，包括：

根据提取的所述命名实体，生成修正候选集；

对所述修正候选集的命名实体进行评估；

根据评估结果，从所述修正候选集中选取命名实体，作为提取的所述命名实体的修正结果。

7.如权利要求6所述的方法，其特征在于，对所述修正候选集的命名实体进行评估，包括：

获取所述修正候选集的命名实体的修改率统计数据；

计算所述修正候选集的命名实体与专有词库中的命名实体的第一语义相似度；

计算所述修正候选集的命名实体与公共词库中的命名实体的第二语义相似度；

根据所述修改率统计数据、所述第一语义相似度和所述第二语义相似度，对所述修正候选集的命名实体进行评估。

8.一种基于自蒸馏的命名实体识别与纠错装置，其特征在于，包括：

模型训练模块，用于针对命名实体识别模型进行训练；所述命名实体识别模型包括第一层模型、第二层模型和第三层模型；所述第一层模型用于根据无标注数据进行训练，以及将所述第一层模型中的概率分布压缩到所述第二层模型中；所述第二层模型用于进行命名实体提取；所述第三层模型用于对提取的所述命名实体进行错误检测，以及，在检测到错误后进行错误修正；

文本获取模块，用于获取待提取命名实体的文本并输入所述命名实体识别模型；

命名实体提取模块，用于通过所述命名实体识别模型进行所述文本命名实体的提取。

9.一种可读存储介质，其特征在于，其上具有可执行指令，当可执行指令被执行时，使得计算机执行如权利要求1-7的任一项所述的方法。

10.一种计算设备，其特征在于，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行如权利要求1-7中的任一项所述的方法。