[发明专利]基于规则配置库对网页内容执行结构化提取的方法及装置

权利要求书

1.一种基于规则配置库对网页内容执行结构化提取的方法，其特征在于，包括以下步骤：

步骤S101：建立规则库，所述规则库包括网络规则库及本地规则库；所述规则库中的规则包括解析网页内容所需的配置项；

步骤S102：获取待解析的网页内容，获取其对应的网站的url，查询所述规则库，若存在与网站的url对应的规则，则允许用户对所述对应的规则进行复用、修改和扩展；若不存在与网站的url对应的规则，由用户创建对应的规则；

步骤S103：获取待解析的网页，并根据该网页的url，以正则匹配的方式从所述规则库中查找对应的规则，输出规则的配置项；

步骤S104：基于所述输出规则的配置项，对所述待解析的网页进行解析；

步骤S105：将解析出的结果处理成个性化设置所需的格式。

2.如权利要求1所述的基于规则配置库对网页内容执行结构化提取的方法，其特征在于，网络规则库通过镜像导入实现规则共享；本地规则库通过数据库存储并在局域网中共享。

3.如权利要求1所述的基于规则配置库对网页内容执行结构化提取的方法，其特征在于，所述规则的配置项包括xpath返回值、css选择器、正则表达式、处理脚本的方式、json格式。

4.如权利要求3所述的基于规则配置库对网页内容执行结构化提取的方法，其特征在于，xpath返回值包括节点、节点集合、文本、以及节点和文本的混合；JSON格式具有两种形式，分别是名称、值组成的数据对的集合，以及值的有序列表。

5.一种基于规则配置库对网页内容执行结构化提取的装置，其特征在于，所述装置包括：

规则库模块：配置为建立规则库，所述规则库包括网络规则库及本地规则库；所述规则库中的规则包括解析网页内容所需的配置项；

规则设置模块：配置为获取待解析的网页内容，获取其对应的网站的url，查询所述规则库，若存在与网站的url对应的规则，则允许用户对所述对应的规则进行复用、修改和扩展；若不存在与网站的url对应的规则，由用户创建对应的规则；

规则匹配模块：配置为获取待解析的网页，并根据该网页的url，以正则匹配的方式从所述规则库中查找对应的规则，输出规则的配置项；

解析模块：配置为基于所述输出规则的配置项，对所述待解析的网页进行解析；

格式转化模块：配置为将解析出的结果处理成个性化设置所需的格式。

6.如权利要求5所述的基于规则配置库对网页内容执行结构化提取的装置，其特征在于，网络规则库通过镜像导入实现规则共享；本地规则库通过数据库存储并在局域网中共享。

7.如权利要求5所述的基于规则配置库对网页内容执行结构化提取的装置，其特征在于，所述规则的配置项包括xpath返回值、css选择器、正则表达式、处理脚本的方式、json格式。

8.如权利要求7所述的基于规则配置库对网页内容执行结构化提取的装置，其特征在于，xpath返回值包括节点、节点集合、文本、以及节点和文本的混合；JSON格式具有两种形式，分别是名称、值组成的数据对的集合，以及值的有序列表。

9.一种基于规则配置库对网页内容执行结构化提取的系统，其特征在于，包括：

处理器，用于执行多条指令；

存储器，用于存储多条指令；

其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如权利要求1-4之任一项所述的基于规则配置库对网页内容执行结构化提取的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1-4之任一项所述的基于规则配置库对网页内容执行结构化提取的方法。