[发明专利]基于注意力机制的BERT-BiGRU-IDCNN-CRF的命名实体识别方法

说明书

本发明请求保护一种基于注意力机制的BERT‑BiGRU‑IDCNN‑CRF的命名实体识别方法，包括步骤：通过大规模无标注预料训练BERT预训练语言模型；在训练好的BERT模型的基础上，构造完整的BERT‑BiGRU‑IDCNN‑Attention‑CRF命名实体识别模型；构建实体识别训练集，并在该训练集上对完整实体识别模型进行训练；将待进行实体识别的预料输入到训练好的实体识别模型，输出命名实体识别结果，本发明将BiGRU和IDCNN神经网络提取的特征向量进行合并，弥补了BiGRU神经网络在提取全局上下文特征的过程中忽略局部特征的缺陷，同时引入了注意力机制，对提取到的特征进行进行权重分配，强化对于实体识别起关键作用的特征，弱化无关特征，进一步提高命名实体识别的识别效果。

技术领域

本发明属于命名实体识别领域，具体涉及一种基于注意力机制的BERT-BiGRU-IDCNN-CRF的命名实体识别方法。

背景技术

命名实体识别(named entity recognition,NER)是自然语言处理领域的基本任务之一，即识别出文本中体现概念的实例，即实体，如人名、地名、机构名等。命名实体识别在信息抽取，问答系统，智能翻译以及知识图谱构建等任务上得到了广泛的应用。

对于命名识别的方法主要分为以下三类：

第一类基于词典和规则的方法，这种方法首先通过人工构造词典或规则模板，通过匹配的方式进行命名实体识别。

第二类是基于统计机器学习的方法，该方法将命名实体识别任务看作是序列标注问题，利用大规模语料来学习标注模型。这类方法主要包括隐马尔可夫模型(HMM)、最大熵模型(MEM)、支持向量机(SVM)和条件随机场(CRF)等。

第三类为基于深度学习的方法，即将字或词映射到向量空间，然后输入到神经网络中进行特征提取和标签预测，其中较为流行的神经网络模型为BiLSTM-CRF,该模型能够通过BiLSTM提取全局的上下文特征，同时通过CRF捕捉标签之间的依赖关系，进行修正后输出。同时为了加快收敛速度，有学者提出了BiGRU-CRF模型。

上述现有技术存在以下缺点：

1.第一个阶段是是采用基于词典和规则的方法，这种方法的缺点是其依赖于语言学家的手工构造的规则模板，不仅耗费人工，且存在主观因素，容易产生错误，不同领域间无法移植。

2.基于统计机器学习的方法在特征提取方面仍需要大量的人工参与，且严重依赖于语料库。

3.基于深度学习方法中的主流模型BiLSTM-CRF其缺点在于，词嵌入层的词向量无法表征一词多义，进而影响了下层的识别效果，此外BiLSTM和BiGRU在提取全局的上下文特征的时候，会忽略掉部分局部特征。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于注意力机制的BERT-BiGRU-IDCNN-CRF的命名实体识别方法。本发明的技术方案如下：

一种基于注意力机制的BERT-BiGRU-IDCNN-CRF的命名实体识别方法，其包括以下步骤：

S1、基于大规模无标注预料进行BERT(bidirectional encoder representationfrom transformers)模型的训练；BERT模型包括embedding(词嵌入)层、双向Transformer编码层和输出层；embedding层即模型的输入，Transformer编码使用的是多头注意力机制；

S2、获取命名实体识别模型的训练语料数据并进行标注，构建数据集；

S3、在步骤S1得到的训练好的BERT模型的基础上，构建BERT-BiGRU-IDCNN-Attention-CRF神经网络模型，并将此模型在步骤S2得到的数据集上进行训练；