[发明专利]一种面向开放网页的实体属性抽取方法和系统

权利要求书

1.一种面向开放网页的实体属性抽取方法，包括：

步骤1)、提取开放网页的文本，从中获得目标实体的候选文本集合；

步骤2)、根据目标实体属性在训练文本集合中出现的频率，选择基于规则的方式或者基于统计的方式从所述候选文本集合中抽取目标实体属性的值，包括：

计算目标实体属性在训练文本集合中出现的频率，如果该频率超过预定的阈值，则根据构造的统计模型来抽取目标实体属性的值，否则根据构造的层叠有穷状态自动机从其初始状态针对所述候选文本集合所匹配到的文本以倒排索引的方式来抽取目标实体属性的值；其中，所述训练文本集合用于训练所述统计模型，所述统计模型为条件随机场模型。

2.根据权利要求1所述的方法，其中，步骤1)包括：

步骤11)、从开放网页中提取出非结构化文本，对该非结构化文本进行分词，得到词与所述非结构化文本之间的相关度；

步骤12)、获得目标实体的上下文中距离该目标实体最近的一个或多个初始查询扩展词，将与目标实体及所述一个或多个初始查询扩展词相关度最高的一个或多个非结构化文本作为第一文本集合；

步骤13)、从所述第一文本集合中选择词频最高的一个或多个二次查询扩展词，将与目标实体及所述一个或多个二次查询扩展词相关度最高的一个或多个非结构化文本作为第二文本集合；

步骤14)、将所述第一文本集合和所述第二文本集合的并集作为目标实体的候选文本集合。

3.根据权利要求2所述的方法，其中，多个词与非结构化文本的相关度为所述多个词中的每个词与该非结构化文本的相关度之和。

4.根据权利要求1所述的方法，其中，根据以下步骤构造层叠有穷状态自动机：

步骤a)、在所述候选文本集合中进行实体识别并生成概念文件；其中，所述概念文件包括指示实体类型和属于该类型的、从所述候选文本集合中识别出的实体的基本概念；指示待抽取变量的正则表达式；以及，指示实体与属性之间的关系的标志词；

步骤b)、生成包括所述概念文件和关联规则的规则文件；其中，关联规则包括单个规则或者嵌套了多个子规则的规则，用于指示所述概念文件中基本概念、正则表达式以及标志词之间的关系；

步骤c)、根据所述规则文件中的关联规则，构造层叠有穷状态自动机；其中，所述层叠有穷状态自动机的初始状态为基本概念、正则表达式或者标志词；其他状态包括关联规则以及关联规则中的子规则。

5.根据权利要求4所述的方法，其中，根据构造的层叠有穷状态自动机来抽取目标实体属性的值包括：

将所述候选文本集合与所述层叠有穷状态自动机从初始状态开始匹配，对每个状态在所述候选文本集合中匹配到的内容建立倒排索引；

匹配完成后，从建立的倒排索引中得到目标实体属性的值。

6.根据权利要求1所述的方法，其中，根据以下步骤构造统计模型：

步骤A)、从在线百科中获得训练实体和相应的训练属性；

步骤B)、从训练开放网页中获得所述训练实体的训练文本集合；

步骤C)、在所述训练文本集合中提取特征，将所述训练属性的特征进行回标得到各属性的训练数据；

步骤D)、根据所述训练数据，生成与每个属性相对应的统计模型。

7.根据权利要求6所述的方法，其中，步骤B)包括：

步骤B1)、从训练开放网页中提取出非结构化文本，对该非结构化文本进行分词，得到词与非结构化文本之间的相关度；

步骤B2)、根据训练实体在训练开放网页中的上下文信息获得距离该训练实体最近的n个初始查询扩展词，将与训练实体及初始查询扩展词相关度最高的K个非结构化文本作为第三文本集合；其中，n和K为正整数；

步骤B3)、从所述第三文本集合中选择词频最高的m个二次查询扩展词，将与训练实体及二次查询扩展词相关度最高的L个非结构化文本作为第四文本集合；其中，m和L为正整数；

步骤B4)、取所述第三文本集合和所述第四文本集合的并集，作为训练文本集合。