[发明专利]一种页面爬取规则的配置方法及装置

权利要求书

1.一种页面爬取规则的配置方法，其特征在于，包括：

从需要配置爬取规则的页面中选取待爬取页面元素；

根据所述待爬取页面元素对应的属性信息，生成页面元素的路径信息，所述页面元素的路径信息用于记录所述待爬取页面元素在待爬取页面中的位置信息，具体为：通过查询所述待爬取页面元素对应的属性信息，生成页面元素在各个上级元素内的相对路径信息；根据所述页面元素在各个上级元素内的相对路径信息，生成页面元素在待爬取页面中的位置信息；

通过设置与所述待爬取页面元素相匹配的正则表达式模板，生成与所述待爬取页面元素的内容相匹配的正则表达式，所述正则表达式用于记录所述待爬取页面元素在待爬取页面中的显示规则；

根据所述待爬取页面元素在待爬取页面中的显示规则以及所述待爬取页面元素在待爬取页面中的位置信息配置所述待爬取页面的页面爬取规则；

其中，所述通过设置与所述待爬取页面元素相匹配的正则表达式模板，生成与所述待爬取页面元素的内容相匹配的正则表达式包括：

根据所述待爬取页面元素对应的关键字设置与所述待爬取页面元素相匹配的正则表达式模板；

以所述正则表达式模板为匹配规则，生成与所述待爬取页面元素的内容相匹配的正则表达式。

2.根据权利要求1所述的方法，其特征在于，在所述从需要配置爬取规则的页面中确定待爬取页面元素之前，所述方法还包括：

启动浏览器插件，从所述浏览器插件中确定需要配置爬取规则的页面内容。

3.根据权利要求1所述的方法，其特征在于，在所述通过查询所述待爬取页面元素对应的属性信息，生成页面元素在各个上级元素内的相对路径信息之前，所述方法还包括：

对所述待爬取页面元素对应的属性信息中临时生成的属性进行过滤。

4.一种页面爬取规则的配置装置，其特征在于，包括：

选取单元，用于从需要配置爬取规则的页面中选取待爬取页面元素；

第一生成单元，用于根据所述待爬取页面元素对应的属性信息，生成页面元素的路径信息，所述页面元素的路径信息用于记录所述待爬取页面元素在待爬取页面中的位置信息；

第二生成单元，用于通过设置与所述待爬取页面元素相匹配的正则表达式模板，生成与所述待爬取页面元素的内容相匹配的正则表达式，所述正则表达式用于记录所述待爬取页面元素在待爬取页面中的显示规则；

配置单元，用于根据所述待爬取页面元素在待爬取页面中的显示规则以及所述待爬取页面元素在待爬取页面中的位置信息配置所述待爬取页面的页面爬取规则；

所述第二生成单元包括：

设置模块，用于根据所述待爬取页面元素对应的关键字设置与所述待爬取页面元素相匹配的正则表达式模板；

第三生成模块，用于以所述正则表达式模板为匹配规则，生成与所述待爬取页面元素的内容相匹配的正则表达式；

所述第一生成单元包括：

第一生成模块，用于通过查询所述待爬取页面元素对应的属性信息，生成页面元素在各个上级元素内的相对路径信息；

第二生成模块，用于根据所述页面元素在各个上级元素内的相对路径信息，生成页面元素在待爬取页面中的位置信息。

5.根据权利要求4所述的装置，其特征在于，所述装置还包括：

确定单元，用于在从需要配置爬取规则的页面中选取待爬取页面元素之前，启动浏览器插件，从所述浏览器插件中确定需要配置爬取规则的页面内容。

6.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求3中任意一项所述的页面爬取规则的配置方法。

7.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至权利要求3中任意一项所述的页面爬取规则的配置方法。