[发明专利]一种基于条件随机场的中文人名自动识别方法

权利要求书

1.一种基于条件随机场的中文人名自动识别方法，其特征在于，包括以下步骤： 

构建条件随机场模型； 

获取人名规则集，首先利用初始状态的标注器来标注文本，接下来采用转换模板和目标函数，通过与已经正确标注过的参考语料相比较得到多条候选的转换模板，然后从中找出应用一条转换模板后可产生标注错误次数最少的转换式，作为一条新的标注规则作用到标注语料库，直到找不出这样的规则为止； 

利用训练阶段得到的条件随机场模型对测试文本语料进行人名识别并输出每个标记的边缘概率； 

对条件随机场的识别结果进行预处理； 

对于边缘概率低的人名以及未被识别的潜在人名利用人名可信度模型进行识别； 

对于识别的潜在人名，利用训练阶段获取的人名规则集进行筛选，去除误识别的人名； 

利用局部统计算法对边界识别错误的人名进行修正，并借助已经正确识别的人名进行扩散操作标记未被识别的人名；以及 

扩散识别，对多次出现的一个人名根据不同位置进行分别识别。 

2.如权利要求1所述的一种基于条件随机场的中文人名自动识别方法，其特征在于：所述构建条件随机场模型包括以下步骤： 

对各标注语料进行相应的标记转换，使之符合条件随机场所使用的语料库格式，在此共定义了三组标注转换规则，每一组对应条件随机场的一类特征。 

对标注转换后的语料进行特征提取，其中将特征分为四类：上下文特征、人名用字特征、边界词特征、字符特征。 

选择特征模板，特征模板描述了我们在训练和测试过程中将会使用哪些特征，它为特征函数的生成提供了一个统一的模式，通过特征模板的使用可以使条件随机场方便的获得人名识别所需要的所有特征函数。 

通过设置阈值来选择出现频次高于该阈值的特征： 

其中Γ表示训练样本，C表示特征集，K即为设定的阈值。 

3.如权利要求1所述的一种基于条件随机场的中文人名自动识别方法，其特征在于：所述获取人名规则集包括以下步骤： 

利用条件随机场进行人名识别，识别结果作为错误驱动学习的训练语料库。 

将人名识别结果和正确的人工标注结果进行比较，分析错误识别的案例，并总结规则。 

依次将第二步总结的各条规则应用到人名识别结果的副本中，根据各条规则对人名识别正确率贡献的大小进行由高到低进行排序。 

将贡献最大的规则作用到已经识别的文本重新进行人名标注，得到一个更新的已识别文本。 

4.如权利要求1所述的一种基于条件随机场的中文人名自动识别方法，其特征在于：所述对条件随机场的识别结果进行预处理包括： 

将条件随机场的识别结果转换为便于后续处理的格式；以及 

对于转换后的结果，利用收集的中文词典采用简单的基于最长匹配的分词方法对转换后的结果进行词语切分。 

5.如权利要求4所述的一种基于条件随机场的中文人名自动识别方法，其特征在于：所述中文词典由标准中文词集、冲突词集以及关联词集三部分组成； 

标准中文词集包含的词既不能是人名，也不可以作为人名的部分出现，该词集将作为分词器的词集使用； 

冲突词集包含的词可以作为人名的部分出现，而它本身又不是人名； 

关联词集包括那些既可以是人名又可以是地名或其他实体名的词及其相关的表征词。 

6.如权利要求1所述的一种基于条件随机场的中文人名自动识别方法，其特征在于：所述对于边缘概率低的人名以及未被识别的潜在人名利用人 名可信度模型进行识别包括： 

将姓和名统一看待，其定义如下： 

TP-Name代表外国音译人名； 

S代表单个汉字的人名； 

F、M、L分别代表外国音译人名首字、中字和尾字。 

7.如权利要求6所述的一种基于条件随机场的中文人名自动识别方法，其特征在于：所述对于边缘概率低的人名以及未被识别的潜在人名利用人名可信度模型进行识别还包括：并利用β来提高长字符串作为人名的可信度，β定义如下： 

则外国音译人名TP-Name的可信度P(TP-Name)定义如下： 

P(TP-Name)＝P_f(F)*P_m(M)*P_l(L)*β 。

8.如权利要求7所述的一种基于条件随机场的中文人名自动识别方法，其特征在于：设定位于左右边界词之间及边界词之外的音译人名的可信度阈值分别为0.39和0.592。