[发明专利]一种大数据网络爬虫分页选择方法和系统

摘要

本发明公开了一种大数据网络爬虫分页选择方法和系统。方法包括以下步骤：解析爬虫脚本；获取匹配符，对爬虫脚本内容中的标签信息进行匹配；将匹配成功的标签的特征值存入URL队列中；获取URL队列中的URL连接地址，校验URL连接地址；获取校验后的URL连接地址，进行地址匹配；解析地址匹配成功的URL地址的网页，获取分页信息；系统包括第一解析模块，第一匹配模块，存储模块，获取模块，第二匹配模块，第二解析模块和配置模块。本发明解决了当网页中的页面按钮HTML结构发生改变时，不能循环爬取网页数据的问题，能够精准识别数据的分页标签，有效防止循环爬取数据过程中断，提升了网页数据的爬取效率。

主权项

1.一种大数据网络爬虫分页选择方法，其特征在于，它包括以下步骤：S0：配置，爬虫脚本中的分页配置；所述的配置步骤S0，包括以下子步骤：第一配置，配置分页组的定位符，分页组是一组选定标签A的集合，其业务含义为一系列页数标签，即A标签；第二配置，配置页面按钮的匹配符，该匹配符是用于做智能分页的匹配符；第三配置，配置标签的属性元素，该属性元素为分页组中所有按钮的A标签的Href属性；第四配置，配置标题元素，该标题元素为分页组中所有按钮的A标签的title的属性值；第五配置，配置文本元素，该文本元素为分页组中所有按钮的A标签的txt的属性值；S1：第一解析，解析爬虫脚本；S2：第一匹配，获取匹配符，对爬虫脚本内容中的标签信息进行匹配；S3：存储，将匹配成功的标签的特征值存入URL队列中；S4：获取及校验，获取URL队列中的URL连接地址，校验URL连接地址；S5：第二匹配，获取校验后的URL连接地址，进行地址匹配；S6：第二解析，解析地址匹配成功的URL地址的网页，获取分页信息。