[发明专利]一种网页信息提取方法及系统、电子设备

权利要求书

1.一种网页信息提取方法，其特征是，通过前置预处理过程对目标网页进行处理，获得处理后的目标网页及相应的字段提取规则，生成字段提取规则库，再进一步基于所述字段提取规则库从目标网页中提取对应的字段信息。

2.如权利要求1中所述的网页信息提取方法，其特征是，包括以下步骤：

步骤S1：接收目标网页，对所述目标网页原文进行前置预处理，获取处理后的目标网页和字段提取规则，进一步生成字段提取规则库；

步骤S2：基于所述字段提取规则库，读入处理后的目标网页，获得对应的字段信息；

步骤S3：对获取的字段信息进行正确性验证。

3.如权利要求2中所述的网页信息提取方法，其特征是，步骤S1中所述的前置预处理具体包括以下实现步骤：

步骤S1-1:对所述目标网页原文进行清洗，去除干扰信息，获得清洗后的目标网页；

步骤S1-2：基于清洗后的目标网页建立网页样本，学习所述网页样本，获得字段提取规则。

4.如权利要求2中所述的网页信息提取方法，其特征是，所述字段提取规则的格式为正则表达式。

5.如权利要求3中所述的网页信息提取方法，其特征是，所述的干扰信息包括注释、脚本代码、预定义的文本。

6.如权利要求3中所述的网页信息提取方法，其特征是，所述步骤S1-2中获得字段提取规则的步骤具体包含以下实现步骤：

从所述目标网页中随机选取部分网页作为网页样本，根据所述网页样本获取字段信息，验证获得的字段信息的正确性；

如果字段信息出错，则获取对应的字段提取规则，并提交修改所述字段提取规则的请求；

接收并替换修改后的字段提取规则。

7.如权利要求3中所述的网页信息提取方法，其特征是，所述的步骤S2中，具体包括以下实现步骤：

步骤S2-1：读入目标网页，解析出所述目标网页的头部分和正文部分；

步骤S2-2：从所述目标网页的头部分中获取meta标签中的元信息；

步骤S2-3：从所述目标网页的头部分中获取概况相关的字段信息，所述概况包括标题、来源、时间信息；

步骤S2-4：从所述目标网页的正文部分中获取字段信息；

步骤S2-5：基于上述步骤S2-2中获得的元信息，对步骤S2-3和步骤S2-4中获得的字段信息进行优化补充。

8.如权利要求3中所述的网页信息提取方法，其特征是，在所述的步骤S3中，包括对获得的字段信息进行清洗，去除干扰信息，所述干扰信息包括注释信息、样式标签、预定义的文本。

9.如权利要求3中所述的网页信息提取方法，其特征是，在所述的步骤S3中，还包括检测所述获得的字段信息，判断是否符合字段提取规则。

10.一种网页信息提取系统，其特征是，包括：

A：前置处理模块：用于在字段信息提取之前，对目标网站页面进行前置处理，具体包括：

A01：规则确定模块：用于学习网站页面的元素，获取网页的字段提取规则，将所述字段提取规则保存到字段提取规则库；

A02：第一清洗模块，所述第一清洗模块用于对网站页面原文或字段信息进行清洗，去除干扰信息；

B：字段信息提取模块：用于根据所述字段提取规则库，读取网站页面的内容，分割页面内容，得到字段提取规则相关的字段信息，并对获取的字段信息进行初步正确性验证；

C：字段提取规则库，所述字段提取规则库包括多条字段提取规则，用于存储所述规则确定模块获取的的字段提取规则。