[发明专利]一种基于条件随机场的中文人名自动识别方法

说明书

技术领域

本发明涉及自然语言处理领域，具体地说是命名实体识别中的中文人名识别技术。

背景技术

中文人名主要包括中国人名、日本人名、外国音译人名等。中文人名的识别是中文命名实体识别的重要组成部分，同时也是信息挖掘、信息抽取、机器翻译、文本分类等研究领域重要的基础性工作。此外，在分词领域，绝大多数的未登录词是人名，中文人名的识别效果直接影响了分词的效果。中文人名识别问题的解决是提高中文文本自动分词精度的先决条件，识别效果有待提高。

有鉴于此，发明人提供了一种基于条件随机场的中文人名自动识别方法。

发明内容

针对现有技术中的缺陷，本发明提供了一种基于条件随机场的中文人名自动识别方法，克服了现有技术的困难，通过对中文人名特征的研究，结合统计学的概率模型，构建出中文人名自动识别系统。通过对文本信息进行分词处理，基于条件随机场并结合上下文规则及人名可信度的方法，最后得到候选人名。借助局部统计算法对边界识别错误的人名进行修正，最终得到系统的识别结果。本系统大大降低了由于分词而产生的识别错误，较好的解决了其他命名实体识别为中文人名的情况，提高了识别效果。

本发明提出了基于条件随机场(CRF)和上下文规则及人名可信度的方法(CRRM)进行中文人名识别。所采用的方法可以分为两个阶段，即训练阶段和识别阶段，预处理训练阶段包含CRF训练和获取规则集两部分，在CRF训练阶段，系统在训练语料库的基础上依次进行特征提取，特征选择和参数训练，最后得到CRF参数模型；另外利用基于转换的错误驱动的学习方法进行规则提取并最终获得规则集。CRRM人名识别过程，首先利用训练阶段设定的特征构建CRF模型并进行人名初识别，然后对CRF识别的结果进行预处理，再利用人名可信度模型、规则等对识别结果进行确认，最后利用局部统计算法对边界识别错误的人名进行了修正，并利用扩散操作召回系统中未被识别的人名。

根据本发明的一个方面，提供一种基于条件随机场的中文人名自动识别方法，包括以下步骤：

构建条件随机场模型；

获取人名规则集，首先利用初始状态的标注器来标注文本，接下来采用转换模板和目标函数，通过与已经正确标注过的参考语料相比较得到多条候选的转换模板，然后从中找出应用一条转换模板后可产生标注错误次数最少的转换式，作为一条新的标注规则作用到标注语料库，直到找不出这样的规则为止；

利用训练阶段得到的条件随机场模型对测试文本语料进行人名识别并输出每个标记的边缘概率；

对条件随机场的识别结果进行预处理；

对于边缘概率低的人名以及未被识别的潜在人名利用人名可信度模型进行识别；

对于识别的潜在人名，利用训练阶段获取的人名规则集进行筛选，去除误识别的人名；

利用局部统计算法对边界识别错误的人名进行修正，并借助已经正确识别的人名进行扩散操作标记未被识别的人名；以及

扩散识别，对多次出现的一个人名根据不同位置进行分别识别。

优选地，所述构建条件随机场模型包括以下步骤：

对各标注语料进行相应的标记转换，使之符合条件随机场所使用的语料库格式，在此共定义了三组标注转换规则，每一组对应条件随机场的一类特征。

对标注转换后的语料进行特征提取，其中将特征分为四类：上下文特征、人名用字特征、边界词特征、字符特征。

选择特征模板，特征模板描述了我们在训练和测试过程中将会使用哪些特征，它为特征函数的生成提供了一个统一的模式，通过特征模板的使用可以使条件随机场方便的获得人名识别所需要的所有特征函数。

通过设置阈值来选择出现频次高于该阈值的特征：