[发明专利]实体词识别方法及装置

权利要求书

1.一种实体词识别方法，其特征在于，包括步骤：

收集结构化数据，通过大数据ETL技术对所述结构化数据进行初步过滤和精简后生成若干个领域的语料库；

将每一领域的语料进行训练后生成对应领域的多元实体词库，通过大量文章对每一领域的多元实体词库进行验证；具体为：根据每一领域的多元实体词库，通过条件随机场对大量文章进行实体词之间的共现率训练，从而完成验证过程；

接收输入的新文章，根据所述新文章中实体词之间的句法依存关系和语法依存关系，建立词性识别模型，对所述新文章中的实体词的词性进行初步识别；

基于所述实体词的词性，对所述实体词进行所属领域的权重的识别，根据已验证的所述多元实体词库对所述新文章的实体词的类型进行深度识别，将新识别的所述实体词添加到所述多元实体词库中；

将完成深度识别后的实体词通过进一步识别词性和分析语义进行二次校验。

2.如权利要求1所述的实体词识别方法，其特征在于，对所述实体词的类型的深度识别包括对人名、地名、公司和品牌的深度识别。

3.如权利要求1所述的实体词识别方法，其特征在于，对所述新文章中的实体词的词性进行初步识别包括对所述实体词的动词、名词、介词或连词的初步识别。

4.一种实体词识别装置，其特征在于，包括：

收集模块，用于收集结构化数据，对所述结构化数据进行初步过滤和精简后生成若干个领域的语料；

多元实体词库生成模块，用于将每一领域的语料进行训练后生成对应领域的多元实体词库，通过大量文章对每一领域的多元实体词库进行验证；具体为：根据每一领域的多元实体词库，通过条件随机场对大量文章进行实体词之间的共现率训练，从而完成验证过程；

初步识别模块，用于接收输入的新文章，根据所述新文章中实体词之间的句法依存关系和语法依存关系，建立词性识别模型，对所述新文章中的实体词的词性进行初步识别；

深度识别模块，用于基于所述实体词的词性，对所述实体词进行所属领域的权重的识别，根据已验证的所述多元实体词库对所述新文章的实体词的类型进行深度识别，将新识别的所述实体词添加到所述多元实体词库中；将完成深度识别后的实体词通过进一步识别词性和分析语义进行二次校验。

5.如权利要求4所述的实体词识别装置，其特征在于，所述深度识别模块对所述实体词的类型的深度识别包括对人名、地名、公司和品牌的深度识别。

6.如权利要求4所述的实体词识别装置，其特征在于，所述初步识别模块对所述新文章中的实体词的词性进行初步识别包括对所述实体词的动词、名词、介词或连词的初步识别。