[发明专利]一种基于主题模型和语义分析的实体指称项识别方法

说明书

本发明公开了一种基于主题模型和语义分析的实体指称项识别方法，包括如下步骤，步骤一、对输入语料进行句子分割、分词、词性标注和依存关系解析；步骤二、基于句法分析，获取边界完整的名词词组作为实体指称项的候选集，然后综合利用LDA主题模型和TF‑IDF统计算法，从候选集中过滤非实体指称项；步骤三、度量实体指称项和种子实体的语义相似度，选择相似度高的种子类别作为实体类别，然后利用浅层的句法知识设置规则，将每种实体类别的实体指称项分类到相应的指称项类别。本发明能够提高实体边界检测和分类方法的有效性。

技术领域

本发明属于语言数据处理的技术领域，具体涉及一种基于主题模型和语义分析的实体指称项识别方法。

背景技术

信息抽取是理解和处理自然语言数据的关键步骤，目标是识别并分类数据中传达的重要信息。由于实体是承载信息的基本单位，使得实体识别成为信息抽取的基础任务，为其他任务提供数据支撑，包括实体消歧、关系抽取、事件抽取等。实体识别作为底层的信息抽取技术，在人工智能领域发挥着重要作用，包括知识图谱、问答系统、机器翻译、自然语言理解等。早期的实体识别技术主要针对命名实体进行识别，包括时间、日期、货币、百分比、人名、结构名、地名等七类。由于时间、日期、货币、百分比等命名实体具有明显构成规律，可以使用启发式规则、正则表达式等方法很容易识别，而人名、机构名和地名形式多变、用字灵活、内部结构复杂，识别难度很大，因而后期命名实体识别任务主要针对这三类实体进行处理，并举办了多种国际会议来推动命名实体识别技术的发展，包括MUC、SigHAN、CoNLL和ACE等。

发明人发现现有的方法存在缺陷：实体边界检测和分类方法存在有效性较低的问题。

发明内容

本发明的目的在于：针对现有技术的不足，提供一种基于主题模型和语义分析的实体指称项识别方法，能够提高实体边界检测和分类方法的有效性。

为了实现上述目的，本发明采用如下技术方案：

一种基于主题模型和语义分析的实体指称项识别方法，包括如下步骤：

步骤一、对输入语料进行句子分割、分词、词性标注和依存关系解析；

步骤二、基于句法分析，获取边界完整的名词词组作为实体指称项的候选集，然后综合利用LDA主题模型和TF-IDF统计算法，从所述候选集中过滤非实体指称项；

步骤三、度量所述实体指称项和种子实体的语义相似度，选择相似度高的种子类别作为实体类别，然后利用浅层的句法知识设置规则，将每种所述实体类别的所述实体指称项分类到相应的指称项类别。

需要说明的是，本发明的识别方法中，包含三个模块：文本预处理、实体边界检测和实体指称项分类，在文本预处理模块，对输入语料进行句子分割、分词、词性标注和依存关系解析等处理，分词、词性标注和依存关系解析等句法分析采用HanLP汉语自然语言处理工具；实体边界检测模块的功能从文本中获取名词性和命名性的实体指称项，基于句法分析从文本中自动获取边界完整的名词词组作为实体指称项候选集，然后综合利用LDA主题模型和TF-IDF统计算法，从候选集中过滤非实体指称项；实体指称项分类模块的功能是识别实体指称项的实体类别和指称项类别，度量实体指称项和种子实体的语义相似度，选择相似度高的种子类别作为实体类别，然后利用浅层的句法知识设置规则，将每种实体类别的实体指称项分类到相应的指称项类别。

作为本发明所述的一种基于主题模型和语义分析的实体指称项识别方法的一种改进，所述步骤二中，利用所述LDA主题模型包括：

将每篇文档表示为一个词频向量；

将文本字符串转化为易于建模的实值数字，得到文档到主题的多项式概率分布、主题到词的多项式概率分布。

作为本发明所述的一种基于主题模型和语义分析的实体指称项识别方法的一种改进，所述LDA主题模型为由文档、主题和词组组成三层贝叶斯概率模型。