[发明专利]一种大数据网络爬虫分页配置方法

摘要

本发明公开了一种大数据网络爬虫分页配置方法，它包括以下步骤：（1）第一配置，配置分页组的定位符；（2）第二配置，配置页面按钮的匹配符；（3）第三配置，配置标签的属性元素；（4）第四配置，配置标题元素；（5）第五配置，配置文本元素。本发明通过对爬虫脚本的分页部分进行配置，通过采用一种可配置匹配符，在一组选定的标签中自动匹配其属性信息，然后返回特征值信息，用于分页数据精准指向相应的页面按钮，防止网络页面结构混乱导致无法循环爬取网页数据，能够充分保障大数据网络爬虫产品能够循环爬取数据，增强网页过滤能力，有助于提高大数据爬虫产品的网络数据爬取效率。

主权项

1.一种大数据网络爬虫分页配置及选择方法，其特征在于，它包括以下步骤：/nS0：分别配置分页组的定位符、页面按钮的匹配符、标签的属性元素、标题元素和文本元素；/nS01：第一配置，配置分页组的定位符；/nS02：第二配置，配置页面按钮的匹配符；/nS03：第三配置，配置标签的属性元素；/nS04：第四配置，配置标题元素；/nS05：第五配置，配置文本元素；/nS1：解析爬虫脚本，爬虫脚本是爬虫引擎能够识别的一种网页定位符集合体的TXT文件，其本质是带有一定格式的字符串文件，用于爬虫引擎运行中过滤与主题无关的链接，有选择地访问万维网上的网页与相关的链接并下载相关所需要的网页HTML信息；/nS11：读取爬虫脚本文件并校验，然后把爬虫脚本文件中的规则字符串转换为JsonArray；/nS12：将JsonArray转化为脚本JAVA对象，它含有脚本详细内容JAVA对象以及另一个脚本JAVA对象，所述另一个脚本JAVA对象为当前页面下钻后的次级页面的脚本JAVA对象，通过递归解析脚本详细内容JAVA对象中的爬虫规则和解析脚本规则中各个关键字和关键字的属性信息，包括：name信息、css信息、save信息、click信息、regex信息和type信息，然后将解析好的属性信息和字段信息设置回脚本详细内容JAVA对象中；/nS2：获取匹配符，对爬虫脚本内容中的标签信息进行匹配，进一步表述，使用爬虫引擎分页处理模块处理S1步骤解析后的脚本详细内容JAVA对象，获取regex中的匹配符，逐一对脚本详细内容JAVA对象中的选定的A标签的文本元素和标题元素进行匹配；/nS3：将匹配成功的标签的特征值存入URL队列中；将匹配成功后该A标签的Href值存入待爬取URL队列中等待爬取；/nS4：获取及校验，获取URL队列中的URL连接地址，校验URL连接地址；/nS5：获取校验后的URL连接地址，进行地址匹配；如果匹配成功，则采用同一处理网页解析模块进行解析处理；/nS6：解析地址匹配成功的URL地址的网页，获取分页信息，爬虫引擎网页解析模块将处理S5步骤中匹配成功的URL地址的网页，对其进行解析分析页面元素获取分页信息后回到步骤S1进行处理，完成循环爬取。/n