[发明专利]一种网页结构化信息抽取方法

摘要

本发明设计一种网页结构化信息抽取方法，网页信息抽取的主要任务就是对网页库中的非结构化信息进行提取，以结构化数据的方式存储在数据库中。主要包括网页分析、制定抽取规则、元数据抽取和信息整合四个方面。首先需要对目标网页进行分析，确定待抽取的元数据并分析其对应的HTML代码特点。然后，根据待抽取元数据在网页中对应的代码特点制定相应的抽取规则，抽取规则的制定要保证对待抽取数据匹配的唯一性。根据制定的抽取规则，所有待抽取的字段信息都会准确地从网页文本中抽取出来，并作为结构化数据存储到数据库中。最后对抽取后的结构化数据进行整合处理，确保数据库中信息的一致性和完整性。

主权项

一种网页结构化信息抽取方法，其特征在于：包括以下步骤：A、网页分析对目标网页进行分析，确定待抽取的元数据并分析其对应的HTML代码特点；B、制定抽取规则：该抽取规则包括采样、识别需要抽取的信息代码片段、建立匹配模式、构建信息抽取程序和匹配模式和抽取程序验证五个部分；B1、采样：针对一个站点，下载20个典型的输出页面的源代码作为分析和验证的样本；B2、识别需要抽取的信息代码片段：选取任意一个下载的源代码作为构建匹配模式的样本，通过可视化的HTML编辑器手工选择需要抽取的信息，然后切换到源代码编辑模式，这是就能够看到需要抽取的信息对应的HTML源代码片断，将这些代码片断标记下来；B3、建立匹配模式：对于每一个已标记的信息片断，采用正则表达式为它建立一个通用的匹配模式串；该模式匹配要求只能构匹配被标记的代码片段，同时要有一定的通用性，能够适应该代码片段内部的文本和细微布局的变化，同时对每一个匹配模式串加上标识符，便于后续对匹配的信息进行识别和抽取；B4、构建信息抽取程序：在匹配模式串的基础上，通过模式串的标记识别对应匹配成功的代码片断，识别特殊的属性字段，过滤掉HTML中无用的标记，获得纯文本信息；B5、匹配模式和抽取程序验证：使用其剩下的下载样本来验证匹配模式串和抽取程序的正确性；如果发现对于剩下的样本不正确，则回溯到B2，重新构建；C、元数据抽取：根据网页的HTML代码的特点对元数据进行抽取；根据制定的抽取规则，所有待抽取的字段信息都会准确地从网页文本中抽取出来，并作为结构化数据存储到数据库中；D、信息整合对抽取后的结构化数据进行整合处理，确保数据库中信息的一致性和完整性；选取标识属性，作为区分不同信息的依据。