[发明专利]一种基于条件随机场的中文人名自动识别方法

摘要

本发明提供了一种基于条件随机场的中文人名自动识别方法，通过对中文人名特征的研究，结合统计学的概率模型，构建出中文人名自动识别系统，通过对文本信息进行分词处理，基于条件随机场并结合上下文规则及人名可信度的方法，最后得到候选人名，借助局部统计算法对边界识别错误的人名进行修正，最终得到系统的识别结果，本系统大大降低了由于分词而产生的识别错误，较好的解决了其他命名实体识别为中文人名的情况，提高了识别效果。

主权项

一种基于条件随机场的中文人名自动识别方法，其特征在于，包括以下步骤： 构建条件随机场模型； 获取人名规则集，首先利用初始状态的标注器来标注文本，接下来采用转换模板和目标函数，通过与已经正确标注过的参考语料相比较得到多条候选的转换模板，然后从中找出应用一条转换模板后可产生标注错误次数最少的转换式，作为一条新的标注规则作用到标注语料库，直到找不出这样的规则为止； 利用训练阶段得到的条件随机场模型对测试文本语料进行人名识别并输出每个标记的边缘概率； 对条件随机场的识别结果进行预处理； 对于边缘概率低的人名以及未被识别的潜在人名利用人名可信度模型进行识别； 对于识别的潜在人名，利用训练阶段获取的人名规则集进行筛选，去除误识别的人名； 利用局部统计算法对边界识别错误的人名进行修正，并借助已经正确识别的人名进行扩散操作标记未被识别的人名；以及 扩散识别，对多次出现的一个人名根据不同位置进行分别识别。