[发明专利]一种基于机器学习的本体实例学习方法

说明书

所属技术领域

本发明涉及自然语言处理和本体学习技术领域。主要是根据本体模型的特点，吸取自然语言处理中基于机器学习处理文本的方法与经验，进行本体实例的学习。

背景技术

目前，传统网络上的信息大部分是非结构化的，缺少组织性，并且存在大量无用的、冗余的信息。而互联网信息爆炸性的增长更为处理信息、获取知识带来了困难。本体是共享概念模型的明确的形式化规范说明，在语义网中扮演着使各服务层间良好的交流、理解的角色。本体为语义网的建立提供了知识库和规则库，以此为基础可以进行语义搜索、智能工作。当前有许多研究侧重于如何构建本体的概念、关系。而对于已经初步构建完成的本体而言，特别是将其于使用性较强的系统中时，如何从大量的非结构化数据中抽取出本体实例也是值得思考的问题。一方面，完整的本体应包括各种概念、关系的实例，另一方面，不断吸取新的实例有助于本体模型的完善，使本体向更好的方向发展。

目前，主要有两方面的研究涉及本体实例的生成：一类工作以本体实例生成为主要目的。此类方法多以模式匹配方法为核心。在另一类工作中，本体实例及属性的学习通常是通过使用基于本体的信息抽取技术实现的。在这里，本体实例作为研究的副产品，例如在基于本体的抽取系统中，研究者在信息抽取的过程中充分利用本体的特点提高抽取的效率、精度，这个过程最终会产生大量的本体实例。很多基于本体的抽取系统都采用GATE框架，引入已经构建完成的本体进行命名实体的识别。

随着互联网的迅速发展，信息量日趋庞大，这就提出了如何从大量的非结构化数据中自动化的学习本体实例及属性的问题。而这些方法中大多数使用基于规则或是模式匹配的方法。此类方法的特点是易于理解，实现简单、快速。与此同时，也存在灵活性不强，需要过多人工参与等不足。

发明内容

为了克服现有技术的上述不足，本发明提出一种快速、有效地从大量文本数据进行本体实例学习的方法，形成结构化的信息，扩充本体实例，完成从非结构化数据向机器可理解的结构化信息的转变。本发明的技术方案如下：

一种基于机器学习的本体实例学习方法，用于从文本中识别出属于本体实例的词语，并对其分类，包括下列步骤：

(1)文档预处理：提取正文部分作为后续步骤的输入；

(2)文本预处理：对提取出的正文进行分词、分句处理，形成标注了词性的文本集；

(3)标注语料：对标注了词性的文本集进行人工标注，在属于本体实例的词语的后面加上类型标签，形成标注文本，即语料；

(4)特征选择：选取包括词特征、词性特征、词和词性特征的组合特征在内的各种特征，将语料及待识别的文本转换为特征向量的形式；

(5)最大熵模型训练：建立最大熵模型，利用标注好的语料训练最大熵模型的参数，得到最大熵分类器；

(6)利用最大熵分类器进行实例抽取：根据选择好的特征，将已经过预处理的文本处理成为分类器能够接受的形式，利用已训练好的最大熵分类器以词为单位进行实例的识别与分类，对于识别出的

本体实例，选择概率值最大的类别作为其所属概念类别的最终结果，实现实例抽取。

利用本发明的方法可以快速、有效地从大量文本中学习本体的实例。这种基于机器学习的能够从训练数据自动的获得知识，从而避免了大量对自然文本语言学上的人力研究。能够较容易地在各个领域中切换，最终服务于多领域的本体学习工作。同时，可以通过对语料库的扩大而提高性能，符合当前web高速发展的趋势，充分利用网络数据资源，为本体领域的研究、应用提供坚实的数据基础。

附图说明

图1本发明的总流程图。

图2模型训练流程图。图中的H_i代表分类器，同一分类器下面的子类属于同一父类。

图3基于最大熵的本体实例学习流程图。

具体实施方式

本发明在学习过程中引入机器学习方法。本体模型中的概念类型、层次往往很多，机器学习方法能够处理有细微差别、模糊的概念，从而有效地从文本中抽取出本体的实例及属性。