[发明专利]一种大数据网络爬虫分页配置方法

权利要求书

1.一种大数据网络爬虫分页配置及选择方法，其特征在于，它包括以下步骤：

S0：分别配置分页组的定位符、页面按钮的匹配符、标签的属性元素、标题元素和文本元素；

S01：第一配置，配置分页组的定位符；

S02：第二配置，配置页面按钮的匹配符；

S03：第三配置，配置标签的属性元素；

S04：第四配置，配置标题元素；

S05：第五配置，配置文本元素；

S1：解析爬虫脚本，爬虫脚本是爬虫引擎能够识别的一种网页定位符集合体的TXT文件，其本质是带有一定格式的字符串文件，用于爬虫引擎运行中过滤与主题无关的链接，有选择地访问万维网上的网页与相关的链接并下载相关所需要的网页HTML信息；

S11：读取爬虫脚本文件并校验，然后把爬虫脚本文件中的规则字符串转换为JsonArray；

S12：将JsonArray转化为脚本JAVA对象，它含有脚本详细内容JAVA对象以及另一个脚本JAVA对象，所述另一个脚本JAVA对象为当前页面下钻后的次级页面的脚本JAVA对象，通过递归解析脚本详细内容JAVA对象中的爬虫规则和解析脚本规则中各个关键字和关键字的属性信息，包括：name信息、css信息、save信息、click信息、regex信息和type信息，然后将解析好的属性信息和字段信息设置回脚本详细内容JAVA对象中；

S2：获取匹配符，对爬虫脚本内容中的标签信息进行匹配，进一步表述，使用爬虫引擎分页处理模块处理S1步骤解析后的脚本详细内容JAVA对象，获取regex中的匹配符，逐一对脚本详细内容JAVA对象中的选定的A标签的文本元素和标题元素进行匹配；

S3：将匹配成功的标签的特征值存入URL队列中；将匹配成功后该A标签的Href值存入待爬取URL队列中等待爬取；

S4：获取及校验，获取URL队列中的URL连接地址，校验URL连接地址；

S5：获取校验后的URL连接地址，进行地址匹配；如果匹配成功，则采用同一处理网页解析模块进行解析处理；

S6：解析地址匹配成功的URL地址的网页，获取分页信息，爬虫引擎网页解析模块将处理S5步骤中匹配成功的URL地址的网页，对其进行解析分析页面元素获取分页信息后回到步骤S1进行处理，完成循环爬取。

2.根据权利要求1所述的一种大数据网络爬虫分页配置及选择方法，其特征在于：所述的分页组为页数标签的CSSPATH地址。

3.根据权利要求1所述的一种大数据网络爬虫分页配置及选择方法，其特征在于：所述的定位符为CSSPATH定位符。

4.根据权利要求1所述的一种大数据网络爬虫分页配置及选择方法，其特征在于：所述的第二配置，根据网页中页面按钮的显示字段来配置。

5.根据权利要求4所述的一种大数据网络爬虫分页配置及选择方法，其特征在于：所述页面按钮的显示字段包括中文显示字段、英文显示字段和数字显示字段。

6.根据权利要求1所述的一种大数据网络爬虫分页配置及选择方法，其特征在于：所述的第二配置，如果页面按钮的匹配符和分页组中的标签按钮匹配成功，则该标签的属性元素作为页面按钮的分页路径加入待爬取的URL队列中。

7.根据权利要求1所述的一种大数据网络爬虫分页配置及选择方法，其特征在于：所述的标签的属性元素为Href元素。

8.根据权利要求1所述的一种大数据网络爬虫分页配置及选择方法，其特征在于：所述的标题元素为分页组中的所有按钮的标签的标题属性值。

9.根据权利要求1所述的一种大数据网络爬虫分页配置及选择方法，其特征在于：所述的第四配置，将标签的标题属性值字段与页面按钮的匹配符逐一匹配，如果匹配成功，则获取该标签的Href值。