[发明专利]融合局部-全局字符级关联特征的中文命名实体识别方法

说明书

本发明涉及融合局部‑全局字符级关联特征的中文命名实体识别方法，属于计算机与信息科学技术领域。本发明首先将一段非结构化中文文本转化为一个初始数值向量序列；其次提取其中的字符级序列特征和局部‑全局字符级关联特征，形成特征向量序列；然后使用一个线性链式条件随机场对特征向量序列进行序列标注，得到标签序列；最后根据非结构化中文文本和标签序列，输出“实体类别”对。本发明分别在Microsoft Research Asia和E‑commerce中文命名实体识别语料上进行实验，结果表明通过引入字符级序列特征和局部‑全局字符级关联特征，有效缓解了现有中文命名实体识别方法依赖词级别特征且非结构化中文文本缺少词边界的问题，提高了F1值。

技术领域

本发明涉及融合局部-全局字符级关联特征的中文命名实体识别方法，属于计算机与信息科学技术领域。

背景技术

中文命名实体识别技术可以从非结构化中文文本中，判定实体的边界和实体的类别，形成结构化的“实体类别”对作为输出。为了解决现有中文命名实体识别方法依赖词级别特征且非结构化中文文本缺少词边界的问题，需要针对中文是以字符为基本单元的特点，研究融合局部-全局字符级关联特征的中文命名实体识别技术。因此，本发明将提供融合局部-全局字符级关联特征的中文命名实体识别方法来提高系统在非结构化中文文本上识别命名实体的能力。

融合局部-全局字符级关联特征的中文命名实体识别方法需要解决的基本问题是：从非结构化中文文本中，判定实体的边界和实体的类别，形成结构化的“实体类别”对作为输出。综观现有的中文命名实体识别方法，具体包括以下几种：

1.基于人工特征的方法。

人工特征即由研究人员基于特征工程方法设计得到。Chen等人于2006年使用一元语法、二元语法和类型特征来辅助分类器识别命名实体，而Han等人于2015年同样使用一元和二元语法特征。这表明某些人工特征确实有益于中文命名实体识别。然而，构造和筛选特征需要耗费大量人力和时间，且人工特征不能根据语言环境的变化进行自动调整。目前，基于计算资源和算法从语料中自动提取特征是一种更好的途径。

2.基于神经网络自动提取特征的方法。

神经网络自动提取特征的过程由计算机完成。Lu等设计的位置敏感skip-gram模型可以提取多原型中文字符级别特征。Zheng等人提供的神经网络结构联合提取字符特征和上下文特征。Yang等人应用卷积神经网络来提取n元语法特征。神经网络自动提取特征的限制在于神经网络结构对结果的影响难以详细解释。

3.基于神经网络和额外知识的方法。

神经网络自动提取特征和将额外知识转化为特征的过程均由计算机完成。Zhang和Yang提出lattice神经网络模型，将词和词序列信息作为额外知识引入到字符级别命名实体识别中。Peng和Dredze基于长短时记忆——条件随机场，提出针对中文分词和中文命名实体识别任务的联合训练模型，将词边界信息作为额外知识引入到命名实体识别任务中。Cao等人使用双向长短时记忆和自注意力模型搭建对抗迁移学习框架，充分使用额外知识——任务共享的词边界信息，并阻止中文分词任务特殊特征影响命名实体识别模型的训练。He和Sun使用双向长短时记忆-max margin神经网络提取特征，同时将领域外语料视为额外知识，进行跨领域学习，提升命名实体识别模型在领域内的效果。然而，额外知识意味着额外的计算开销，会降低方法的实际运行效率。

综上所述，现有中文命名实体识别方法依赖词级别特征且非结构化中文文本缺少词边界，所以本发明提出融合局部-全局字符级关联特征的中文命名实体识别方法。

发明内容

本发明的目的是为缓解现有中文命名实体识别方法依赖词级别特征且非结构化中文文本缺少词边界的问题，以提高中文命名实体识别的综合性能，提出融合局部-全局字符级关联特征的中文命名实体识别方法。