[发明专利]一种基于混合模型的命名实体识别方法

摘要

一种基于混合模型的命名实体识别方法，包括：预处理；利用自适应的选择方式，在隐马尔科夫模型和条件随机场模型中，选择出F值较高的作为自适应的统计识别模型，对已识别语料进行初步的命名实体识别，得到初步的命名实体识别结果；构建由知识库和识别规则库构成的基础词典；利用基础词典，采用自适应的统计识别模型，对初步的命名实体识别结果进行二次识别，分析二次识别结果的F值，更新基础词典；构建基于基础词典和自适应的统计识别模型的混合模型，对待识别语料进行识别，得到待识别语料中的人名实体、地名实体和机构名实体，将识别结果补充到知识库中，更新基础词典，供下一次识别使用。本发明的识别准确率和识别召回率有显著提高。

主权项

1.一种基于混合模型的命名实体识别方法，其特征在于，包括以下步骤：步骤1：预处理：对已识别语料和待识别语料均进行分词和词性标注处理，并将已识别语料分为训练语料和不重叠测试语料；步骤2：利用自适应的选择方式，在隐马尔科夫模型和条件随机场模型中，选择出F值较高的作为自适应的统计识别模型，对预处理后的已识别语料进行初步的命名实体识别，得到初步的命名实体识别结果；F值是识别准确率和识别召回率的加权调和平均值，即步骤3：构建用于命名实体识别的知识库，在知识库的基础上制定识别规则，并构成识别规则库，由知识库和识别规则库构成基础词典；利用构建的基础词典，采用自适应的统计识别模型，对初步的命名实体识别结果进行二次识别，分析得到的二次识别结果的F值，并更新基础词典；步骤4：构建基于基础词典和自适应的统计识别模型的混合模型，在混合模型中，利用基础词典，采用自适应的统计识别模型，对预处理后的待识别语料进行识别，得到待识别语料中的人名实体、地名实体和机构名实体，将识别出的识别结果补充到基础词典的知识库中，更新基础词典，供下一次识别使用。