[发明专利]一种基于BERT-BiGRU-CRF的中文命名实体识别方法

说明书

本发明公开了一种基于BERT‑BiGRU‑CRF的中文命名实体识别方法。该方法包括三个阶段，第一阶段预处理海量文本语料，预训练BERT语言模型；第二阶段预处理命名实体识别语料，利用训练好的BERT语言模型对命名实体识别语料进行编码；第三阶段将编码后的语料输入BiGRU+CRF模型中进行训练，利用训练好的模型对待识别语句进行命名实体识别。本发明通过构建基于BERT‑BiGRU‑CRF的中文命名实体识别方法，通过BERT预训练语言模型增强字的语义表示，根据字的上下文动态生成语义向量，有效表征了字的多义性。提高了中文命名实体识别的精度，且与基于语言模型微调的方法相比减少了训练参数，节省了训练时间。

技术领域

本发明属于命名实体识别领域，具体涉及一种基于BERT-BiGRU-CRF模型的中文命名实体识别方法。

背景技术

命名实体识别旨在识别文本中特定实体信息，如人名、地名、机构名等，在信息抽取，信息检索，智能问答，机器翻译中都有广泛应用，是自然语言处理的基础之一。传统的命名实体识别方法可以分为基于词典的命名实体识别方法，基于规则的命名实体识别方法，基于传统机器学习的命名实体识别的方法，基于神经网络的命名实体识别的方法和基于语言模型微调的方法。

基于词典的命名实体识别方法，该方法首先构造大规模实体词典，然后通过匹配语句和词典来进行命名实体识别。

基于规则的命名实体识别方法的原理是根据实体特有的上下文特征来构造规则，将文本与规则进行匹配来识别出命名实体。该方法需要语言学背景知识。

基于传统机器学习的命名实体识别的方法，该方法将命名实体识别任务形式化序列标注任务，通过预测每个字或者词的标签，联合预测实体边界和实体类型。例如基于CRF(条件随机场)的命名实体识别的方法、基于HMM(隐马尔可夫)的命名实体识别的方法等，这类方法的原理是通过人工构建特征模板提取特征，作为输入，学习前后一个词的语义信息，然后预测序列标签。

基于神经网络的命名实体识别的方法，其原理是将字或者词映射为单一向量，然后输入神经网络模型中进行标签预测，经典模型是BiLSTM-CRF模型。

基于预训练语言模型微调的方法，该方法通过海量语料无监督预训练一个语言模型来表征句子语义，然后在有标签的语料之上对语言模型进行微调。

上述现有技术存在下列缺陷：

1、基于词典的命名实体识别方法严重依赖于词典库，无法识别未登录词，且无法识别实体嵌套情形。

2、基于规则的命名实体识别方法在构建规则时需要语言学背景知识，中文表达具有多样性，规则难以枚举且容易冲突，还有一个缺点是不具有迁移性，工作繁琐复杂。

3、基于传统机器学习的命名实体识别的方法。

4、基于神经网络的命名实体识别的方法，该方法无法表征字或者词的多义性。有些字词在不同的上下文语境中具有不同的语义表示，该方法将字或者词映射为单一向量与事实不符。

5、基于语言模型微调的方法有参数量庞大，训练时间长的缺点。

发明内容

本发明的发明目的是：为了解决现有技术中存在的以上问题，本发明提出了一种能够有效的提高命名实体识别精度的基于BERT-BiGRU-CRF的中文命名实体识别方法。

一种基于BERT-BiGRU-CRF的中文命名实体识别方法，其特征在于，包括以下步骤：

步骤A、获取语言模型的训练语料数据并进行预处理，具体包括以下分步骤：

A1、将原始语料进行字符级切分；

A2、构建句子对正负样本，其中正样本表示句子对有上下文关系；负样本表示两个句子没有关系；