[发明专利]基于RoBERTa-BiGRU-LAN模型的中文命名实体识别方法及装置

说明书

本发明属于命名实体识别技术领域，特别涉及一种基于RoBERTa‑BiGRU‑LAN模型的中文命名实体识别方法及装置，该方法包括将待处理中文语料转换为字向量序列；将获得的字向量序列输入RoBERTa‑BiGRU‑LAN模型的第一层BiGRU‑LAN，获取融合局部信息的编码序列；将上面获得的编码序列输入RoBERTa‑BiGRU‑LAN模型的第二层BiGRU‑LAN，获取融合全局信息的注意力分布；根据上面获得的注意力分布得到命名实体识别结果。本发明改进字嵌入方法更好地进行中文表征，同时将BiLSTM‑CRF改进为BiGRU‑LAN，减少了模型的参数，降低模型复杂度，节省了训练时间。

技术领域

本发明属于命名实体识别技术领域，特别涉及一种基于RoBERTa-BiGRU-LAN模型的中文命名实体识别方法及装置。

背景技术

实体是文本中承载语义信息的重要组成部分，是知识图谱的核心单元。而命名实体识别(NER)旨在从文本中抽取出这些有价值的实体(人名、地名、机构名、专有名词、事件等)信息，以满足各行业需求。命名实体识别是自然语言处理领域中关键的步骤之一，是构建知识图谱的重要基础，也是智能搜索、智能问答等领域的核心技术之一，命名实体识别研究的突破对完成知识指导的机器学习任务、实现知识支撑的人工智能具有重要意义。

现在的中文命名实体识别方法广泛采用基于word2vec-BiLSTM-CRF或BERT-BiLSTM-CRF的深度学习模型。首先，模型接收中文语料，经由word2vec/BERT模型获得字向量序列；而后，将该字向量序列输入BiLSTM层获取上下文隐藏信息，得到最终的编码；最后将编码送入CRF层获得命名实体识别结果。但此类方法存在以下弊端：

(1)word2vec模型为静态词向量模型，无法解决一词多义、一字多义的问题，不同词义的区别给最后的命名实体识别效果带来干扰。

(2)当使用传统Bert模型进行字嵌入时，因为使用静态masking、训练数据集较小、训练时间不足，表征学习不充分；另一方面，使用bert的模型优化速率和模型性能较弱。

(3)相比传统RNN，BiLSTM模型参数太多，模型复杂度较高。

(4)CRF未在序列中加入其它附加信息，且运算复杂度高。

发明内容

为了解决现有技术中存在的问题，本发明的目的是提供一种基于RoBERTa-BiGRU-LAN模型的中文命名实体识别方法及装置，改进字嵌入方法更好地进行中文表征，同时将BiLSTM-CRF改进为BiGRU-LAN，减少了模型的参数，降低模型复杂度，节省了训练时间。

为解决上述技术问题，本发明采用以下的技术方案：

本发明提供了一种基于RoBERTa-BiGRU-LAN模型的中文命名实体识别方法，包含以下步骤：

步骤1，将待处理中文语料转换为字向量序列；

步骤2，将获得的字向量序列输入RoBERTa-BiGRU-LAN模型的第一层BiGRU-LAN，获取融合局部信息的编码序列；

步骤3，将步骤2中获得的编码序列输入RoBERTa-BiGRU-LAN模型的第二层BiGRU-LAN，获取融合全局信息的注意力分布；

步骤4，根据步骤3获得的注意力分布得到命名实体识别结果。

进一步地，使用RoBERTa模型对待处理中文语料进行编码，得到对应的字向量序列x₁，...，x_n。

进一步地，在第一层BiGRU-LAN中，由BiGRU模型得到输入字向量序列对应的隐状态，然后使用多头注意力机制计算出不同标签序列下隐状态的注意力。

进一步地，所述步骤2的具体实现过程如下：