[发明专利]自动生成词条层次

说明书

技术领域

本发明总体上涉及词典分析，更具体地涉及自动生成词条层次。

背景技术

数据语料库(corpus)可保存大量信息，然而找到相关的信息可能很 难。可以创建词条层次来方便搜索相关信息。然而，在某些场合下，生 成词条层次的已知技术在某些场合下效率不高。

附图说明

图1图示了自动生成表示词条层次的层次图的系统的一个实施方式；

图2图示了可用于图1的系统的相关度(affinity)模块的一个实施 方式；

图3图示了记录基本相关度的相关度矩阵的示例；

图4图示了记录有向相关度的相关度矩阵的示例；

图5图示了记录平均相关度的相关度矩阵的示例；

图6图示了相关度图的示例；

图7图示了可用于图1的系统的聚类模块的一个实施方式；

图8图示了可用于图1的系统的本体(ontology)特征模块的一个实 施方式；

图9图示了可用于图1的系统的层次模块的一个实施方式；

图10图示了层次图的示例；而

图11A和11B图示了可从中移除冗余父子关系的节点。

特定实施方式

概述

在某些实施方式中，生成词条层次包括访问包括多个词条的语料库。 对一个或多个词条执行下述步骤以生成父子关系：根据有向相关度来标 识词条的一个或多个父词条；以及根据这些父词条和每个词条来建立一 个或多个父子关系。根据这些父子关系而自动生成层次图。

示例实施方式

在具体实施方式中，创建和查询域本体可包括下述步骤：

1.收集域中的文档。在具体实施方式中，文档是词条的集合。文档 可包括例如《新约圣经》书的可读文本。文档不必包括叙述形式的文本， 例如，文档可包括一组用户输入的、单独和共同描述图像内容的标签。 文档的集合可被称为“域语料库”。

2.标识域中感兴趣的词条(“词典词条”)。词条的示例包括词(如 “树(tree)”)、短语(如“图形算法(graph algorithm)”)、命名实体(如 “纽约(New York)”)等。词条(或概念)可以有不同的形式。在某些 情况下，不同的词用于相同的概念，例如，“肾结石(kidney stones)”和 “肾石病(kidney calculi)”指相同的概念，“肾结石”。在其他情况下， 词干可以有许多词形变化，例如，词干“tree”具有词形变化“tree”和 “trees”。在具体实施方式中，相同词条的各形式可被认为是映射到相同 的词条。词典词条的任何适当形式都可能在文档中出现，但是具体词典 词条不必在任何文档中出现。

用于标识词典词条的示例包括使用对于特定域的人类生成的词典， 例如医学词典。在具体实施方式中，可以根据语料库中的一组文本串自 动生成词典词条的列表。这些串可按频率来索引和分类，并且可选择频 率在阈值之上的串。可以使用其他适当的统计方法来确定词条。在具体 实施方式中，“词”可与“词条”和“词典词条”互换。

3.计算在给定共现(co-occurrence)上下文中词典词条的共现数量。 如果两个词条在相同的共现上下文中都至少出现一次，则它们共现。共 现上下文的示例包括文档和段落。

4.创建包括域本体的有向加权图。有向加权图包括作为节点的词典 词条和作为边缘权重的相关度。“有向加权图”可用作可由任何适当数据 结构表示的相同信息的实际表示，例如矩阵、二进制判决图或二进制判 决图的集合。

5.应用查询有向加权图的过程。给定一个或多个词典词条作为输 入，该过程输出了与输入词典词条有关的一个或多个词典词条。例如， 该过程可输出对一个或多个输入词条具有最高差分有向相关度(下面进 行描述)的一个或多个词条的分类列表。在此情况下，输出包括与本体 所寻址的域相关的、与输入词条更紧密相关的词条。

可使用任何适当的相关度定义。在具体实施方式中，可使用下述定 义：

1.基本相关度

a.词条A与B之间的基本相关度(A)可定义为包括词条A和B 两者的共现上下文的数量与包括词条A或B的共现上下文的数量之比：

A(A，B)＝|AB|/|A or B|