[发明专利]一种基于BERT-BiGRU-CRF的中文命名实体识别方法

摘要

本发明公开了一种基于BERT‑BiGRU‑CRF的中文命名实体识别方法。该方法包括三个阶段，第一阶段预处理海量文本语料，预训练BERT语言模型；第二阶段预处理命名实体识别语料，利用训练好的BERT语言模型对命名实体识别语料进行编码；第三阶段将编码后的语料输入BiGRU+CRF模型中进行训练，利用训练好的模型对待识别语句进行命名实体识别。本发明通过构建基于BERT‑BiGRU‑CRF的中文命名实体识别方法，通过BERT预训练语言模型增强字的语义表示，根据字的上下文动态生成语义向量，有效表征了字的多义性。提高了中文命名实体识别的精度，且与基于语言模型微调的方法相比减少了训练参数，节省了训练时间。

主权项

1.一种基于BERT‑BiGRU‑CRF的中文命名实体识别方法，其特征在于，包括以下步骤：步骤A、获取语言模型的训练语料数据并进行预处理，具体包括以下分步骤：A1、将原始语料进行字符级切分；A2、构建句子对正负样本，其中正样本表示句子对有上下文关系；负样本表示两个句子没有关系；A3、对超过max_num_tokens的句子对进行截断；A4、连接句子对，用[SEP]标签进行连接，句首置[CLS]标签,句末置[SEP]标签；A5、随机遮住15％的单词；其中80％用masked token来代替，10％用随机的一个词来替换，10％保持这个词不变；步骤B、根据步骤A预处理后的训练语料数据训练BERT语言模型包括Embedding层、双向Transformer编码器、输出层；步骤C、获取命名实体识别模型的训练语料数据并进行标注，形成标注语料，具体是对中文命名实体识别语料进行标注，采用BIO标注模式，其中B表示实体开始，I表示实体非开始部分，O表示不是实体的部分；步骤D、对步骤C得到的标注语料进行预处理，具体包括以下分步骤：D1、将原始语料进行字符级切分；D2、句首置[CLS]标签,句末置[SEP]标签；对应标签也分别置为[CLS],[SEP]步骤E、根据步骤B得到的基于BERT的语言模型和步骤D预处理后的标注语料构建基于BERT‑BiGRU‑CRF的中文命名实体识别模型；步骤F、利用步骤E得到的基于BERT‑BiGRU‑CRF的中文命名实体识别模型对待识别数据进行处理，得到命名实体识别结果。