[发明专利]一种融合字词特征的中文命名实体识别方法

说明书

本发明公开了一种融合字词特征的中文命名实体识别方法，通过拼接字向量x^c、位置向量x^s和词的映射向量x^w构建特征表示层，作为模型的输入向量x^emb；将输入向量x^emb输入BiLSTM，得到当前时刻的上下文特征向量对该特征向量执行非线性转换，输出待解码的得分信息P；将得分信息P输入CRF层，同时引入转移得分矩阵A，CRF根据序列的全局标签概率p(y|x)选择全局最优的标签序列，输出序列标注结果y₁,y₂,...,y_n，完成中文命名实体识别。本发明通过综合分析后得到的结果数据加强了模型对文本的理解，提高了模型识别任务中的F1值。

技术领域

本发明属于自然语言处理技术领域，具体涉及一种融合字词特征的中文命名实体识别方法。

背景技术

随着互联网的飞速发展，各种社交软件，新闻媒介应运而生，导致网络上的信息越发丰富，这意味着在海量数据中快速精准地找到有效信息越来越困难。我们把网络中的文本称为自然语言，由于中文文本的组成结构，致使理解文本的前提是提取文本中的词的特征，即从非结构化文本中提取到有用的结构化数据的特征，而命名实体识别是从海量的自然语言文本中抽取如人名、地名、机构名等专有名词的任务，因此，对它的研究具有重要的研究意义和价值。

相较于英文命名实体识别，中文实体识别的研究难度更大。由于在中文文本里词语之间没有分隔符，造成了在分析文本前必须先进行分词。为了避免因为分词错误而导致识别出的实体边界错误，中文命名实体识别领域提出了通过单字进行识别，但单字识别同样存在弊端，即其未能利用文本中的词语和词语之间的特征信息。

综上所述，如何从中文文本的结构特征出发，有效的解决命名实体识别的识别准确率低的问题，是目前领域的研究人员需要解决的问题。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种结合字特征、位置特征和词的映射特征的中文命名实体识别方法，提高了实体识别的准确率。

本发明采用以下技术方案：

一种融合字词特征的中文命名实体识别方法，包括以下步骤：

S1、通过拼接字向量x^c、位置向量x^s和词的映射向量x^w构建特征表示层，作为模型的输入向量x^emb；

S2、将输入向量x^emb输入BiLSTM，得到当前时刻的上下文特征向量对该特征向量执行非线性转换，输出待解码的得分信息P；

S3、将得分信息P输入CRF层，同时引入转移得分矩阵A，CRF根据序列的全局标签概率p(y|x)选择全局最优的标签序列，输出序列标注结果y₁,y₂,...,y_n。

具体的，步骤S1中，假设给定长度为N的句子{x₁,x₂,...,x_n}，每一个字x_i对应的特征表示模型输入向量计算如下：

其中，为字向量，为位置向量，为词的映射向量。

进一步的，字向量具体为：

其中，e^c为字向量的查找表，c_i为字x_i对应的id。

进一步的，位置向量具体为：