[发明专利]基于双神经网络融合的中文命名实体识别模型及方法

说明书

基于双神经网络融合的中文命名实体识别模型及方法,属于命名实体识别领域，用于解决现有单个模型往往存在特征表示不足的问题，包括Bert嵌入层，用于将句子从一个字符序列转换到一个密集向量序列；带有自注意力机制的Bi_LSTM层，从全程上下文学习字的隐性表示，并处理句子层信息，获取具有长距离依赖特征的上、下文信息；堆叠DCNN层，将更广泛的上下文信息合并到标记中表示，并抽取文字的局部信息，获取具有广泛局部特征的上、下文信息；CRF解码层，将双模型输出解码为序列标记，将命名实体通过序列标记标注的标签显性输出，效果是增强了模型在字符序列间隐式获取上下文表示的能力。

技术领域

本发明属于命名实体识别领域，涉及一种基于双神经网络融合的中文命名实体识别模型及方法。

背景技术

命名实体识别(NER)作为信息抽取的一项基础性工作，近年来一直受到人们的关注。NER的任务是从文本中识别实体名，并将其类型分为不同的类别，如人名、地名、组织机构名等。例如，给定一句话“史蒂夫·乔布斯是苹果的创始人”，NER的任务是识别出“史蒂夫·乔布斯”是一个人名实体，“苹果”是一个公司名实体。NER是自然语言处理(NLP)领域中的一个基础而重要的任务，可以用于许多下游的NLP任务，如实体链接、关系抽取和问题回答。

对命名实体识别的研究已进行了很久，研究者也使用了各种方法，包括隐马尔可夫模型(HMMs)、最大熵模型(ME)和条件随机场(CRF)，效果不尽理想。随着深度学习的发展，神经网络被引入到命名实体识别任务中。例如，(Huang等人，2015)提出了一个使用Bi_LSTMCRF的英文命名实体识别模型，(Ma和Hovy，2016)提出利用CNN网络的特点学习字符级特征，并提出了一种BiLSTM-CNNs-CRF神经模型。在其方法中，词的特征包括词嵌入和利用CNN网络从字符中学习到的字嵌入。由于传统CNN提取长序列输入特征的能力较弱，(Strubell等人，2017)提出使用扩展卷积来增加感受野以缓解长距就离依赖问题。然而，这些方法在学习更好的描述能力上仍然较弱。

对比英文文本的命名实体识别，中文的命名实体识别更困难。首先，中文中没有像英文一样自然分割符，这使得词边界模棱两可。例如：在句子中“人民广场”是一个地名类型的命名实体，但在不同的分词软件中，它可能被分割为两个词，分别是“人民”和“广场”。很多时候，分词粒度难以确定和统一。此外，基于词的模型会受到未登录词问题的困扰，因为汉语词汇量巨大，命名实体是未登录词的重要来源。其次，中文命名实体对上下文依赖性更高。如句子“文章主演雪豹”中的“文章”是人名实体。然而，在大多数的中文句子中“文章”一词代表非命名实体的意思，对模型而言很难学到这种不同的上下文的表示。

发明内容

为了解决上述问题，本发明提出用神经网络融合的方法来识别中文命名实体，在提出的BERT-Dual-CRF框架中，对中文命名实体学习上下文相关的字表示。

一种基于双神经网络融合的中文命名实体识别模型，包括：Bert嵌入层，用于将句子从一个字符序列转换到一个密集向量序列；带有自注意力机制的Bi_LSTM层，从全程上下文学习字的隐性表示，并处理句子层信息，获取具有长距离依赖特征的上、下文信息；堆叠DCNN层，将更广泛的上下文信息合并到标记中表示，并抽取文字的局部信息，获取具有广泛局部特征的上、下文信息；CRF解码层，将双模型输出解码为序列标记，将命名实体通过序列标记标注的标签显性输出。

进一步的，输入的句子为X＝{x₁，x₂，…，x_N},其中代表句子X中的第i个字，N代表句子长度，表示整个汉字空间；标签序列Y＝{y₁,y₂,…,y_N}，其中代表在所有可能标签集合中第i个字的标签；目标是学习一个函数f_θ:X→Y来获取输入文本中所有字的实体类型。

进一步的，根据实验所用的语料集不同而有区别，如分别代表人名的开始字，人名中间字，地名开始字，地名中间字，组织名开始字，组织名中间字，非人名、地名、组织名字。