[发明专利]一种结构化信息抽取方法、搜索方法和装置

说明书

【技术领域】

本发明涉及信息检索和自然语言处理技术领域，特别涉及一种结构化信息抽取方法、搜索方法和装置。

【背景技术】

随着信息和网络技术的不断发展，日益增长的涉及各个领域的海量信息资源，对信息组织和检索提出了巨大的挑战。搜索引擎是人们获取信息的重要途径，搜索引擎根据输入的搜索词(query)将所需的信息从网页中抽取出来，并返回搜索结果。当信息数据规模不断增长时，由于信息非结构化、信息种类多样化、文档内容涵盖范围广泛等因素，导致搜索引擎搜索效率低、召回率低，想要在搜索引擎中直接找到自己想要的答案，较为困难。

结构化数据搜索也称作垂直搜索，是相对于通用搜索的信息量大、查询不准确、深度不够等提出的新的搜索模式。为了实现结构化数据搜索，需要对网页信息进行结构化提取，将网页的非结构化数据抽取成特定的结构化数据，并将这些数据存储到数据库，建立索引以供搜索。网页信息由一定数量的句子组成，从句子中抽取结构化数据。对于单个句子而言，有些表达是某个实体通过发生某种动作与另一个属性值产生关联。例如：1978年刘德华考进无线艺员训练班。其中，实体词为“刘德华”，属性词为“考进”，“无线艺员训练班”为属性值。通常情况下，网页中的实体词是较为固定的，属性词的表达形式会比较多，比如“考进”还可以表达为“考入”“就读”等同义词。进行结构化提取的过程是对句子进行分析，从而抽取出句子中实体词和属性词对应的属性值。

现有的结构化数据的方法中，实体词和属性词分别通过预设的实体词词典和属性词词典进行匹配识别，在网页中找到相匹配的实体词或属性词，再抽取得到对应的属性值。如果属性词词典中没有包含某一形式的表达，其对应的属性值将无法被识别出来，导致召回率低。尽管属性词词典还可以通过人工或者结合同义词词典添加的方式将其他同义属性词添加到属性词词典中，然而人工添加方式耗费人力资源、效率较低且召回率较低；结合同义词词典的方式，同样存在召回率较低的问题。

【发明内容】

本发明提供了一种结构化信息抽取方法、搜索方法和装置，能够自动建立模板和挖掘属性值，实现结构化信息的抽取，更加节约人力资源，提高搜索引擎的效率和召回率。

具体技术方案如下：

一种结构化信息抽取方法，该方法包括：

S1、从语料中获取包含预设属性词的语句集合；

S2、从所述语句集合中获取包含预设属性值的语句作为种子seed，构成seed集合；

S3、从各seed中抽取模板pattern构成所述预设属性词对应的pattern集合，所述pattern包括：与属性值相邻的字符串以及seed中满足预设特征要求的特征值；

S4、利用pattern集合中的各pattern到步骤S1获取的语句集合中抽取属性值，得到所述预设属性词对应的属性值集合。

根据本发明一优选实施例，在所述步骤S4之后还包括：

S5、利用所述属性值集合到语句集合中进行匹配，提取新的seed，转至步骤S3，直到算法收敛，得到结构化信息，所述结构化信息包括：属性词和属性值。

根据本发明一优选实施例，在步骤S3中，所述与属性值相邻的字符串包括：词语、短语或符号；

所述seed中满足预设特征要求的特征值包括以下所列中的至少一种：属性值的前一个动词、后一个动词、最近的名词、属性值的词性、属性值中名词的个数以及属性值的字数。

根据本发明一优选实施例，所述步骤S3中，还包括对所述预设属性词对应的pattern集合进行过滤，过滤方法采用以下所列的至少一种：基于pattern的出现频率进行过滤或者基于pattern的语义相关性进行过滤。

根据本发明一优选实施例，所述步骤S4中，还包括对所述预设属性词对应的属性值集合进行过滤，过滤方法可以采用以下所列的一种或几种结合：

A、基于词频进行过滤，将词频低于预设要求的属性值过滤掉；

B、基于词性特征进行过滤，将词性不符合属性值特征的属性值过滤掉；

C、基于属性值的字数，将字数超过预设字数要求的属性值过滤掉；

D、基于属性值分词中停用词的个数，将所包含停用词个数超过预设要求的属性值过滤掉。

根据本发明一优选实施例，在进行基于词频过滤之前，先判断所述预设属性词对应的属性值是否可重复出现的，判断的规则为：判断提取得到的预设属性词对应的属性值是否在所述语句集合的多个语句中出现，如果是，则认为该预设属性词对应的属性值是可重复出现的；