[发明专利]一种大数据网络爬虫分页选择方法和系统

说明书

本发明公开了一种大数据网络爬虫分页选择方法和系统。方法包括以下步骤：解析爬虫脚本；获取匹配符，对爬虫脚本内容中的标签信息进行匹配；将匹配成功的标签的特征值存入URL队列中；获取URL队列中的URL连接地址，校验URL连接地址；获取校验后的URL连接地址，进行地址匹配；解析地址匹配成功的URL地址的网页，获取分页信息；系统包括第一解析模块，第一匹配模块，存储模块，获取模块，第二匹配模块，第二解析模块和配置模块。本发明解决了当网页中的页面按钮HTML结构发生改变时，不能循环爬取网页数据的问题，能够精准识别数据的分页标签，有效防止循环爬取数据过程中断，提升了网页数据的爬取效率。

技术领域

本发明涉及大数据分析处理技术领域，具体是一种大数据网络爬虫分页选择方法和系统。

背景技术

随着网络的迅速发展，每时每刻万维网都在产生各式各样的数据。目前，中国的网站总数约454万个，网页数量突破2000亿个，浪涌般的数据蕴藏着惊人的价值。如何有效地提取并利用这些信息成为一个巨大的挑战。如何让这些繁杂无序的互联网数据产生价值，如何把万维网变成自家的数据库，如何让企业轻松驾驭这些海量数据信息来进行创新、快速洞悉商机，搜索引擎(Search Engine)，例如传统的通用搜索引擎Google和Baidu等，作为一种辅助人们检索信息的工具成为用户访问万维网的入口和指南，被人们广泛使用。但是，这些通用性搜索引擎也存在着一定的局限性，为了尽可能大的网络覆盖率，其搜索出来的数据庞杂精准度低，所返回的结果包中含大量用户不关心的网页。

在目前大数据产业的背景下，网络爬虫通常是一种快速获取互联网数据的有效途径。其中，聚焦类爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，它根据既定的抓取目标，根据一定的网页分析算法过滤与主题无关的链接，有选择的访问万维网上的网页与相关的链接获取所需要的信息。往往我们需要获取的数据是在网页有列表或在表格信息中，而这些数据一般都是具有分页的，聚焦爬虫需要精准识别其分页标签，才能循环获取下一页的数据。当在爬取数据时，因有些网页中的页面按钮HTML结构发生改变导致无法定位到相应的标签信息，造成不能循环爬取网页数据的问题，例如有些网页中的“下一页”HTML结构在点击几次“下一页”后会发生改变，数据结构发生改变后则不能通过原来的HTML定位符定位到“下一页”这个按钮，无法循环爬取网页数据。

发明内容

本发明的目的在于克服现有技术的不足，提供一种大数据网络爬虫分页选择方法和系统，直接省略当前网页中的页面按钮的HTML结构是否发生改变这个可能造成整个爬虫系统无法循环爬取数据的因素，能够精准识别数据的分页标签，防止循环爬取数据过程中断，提升网页大数据的爬取效率，提高大数据分析处理效率。

本发明的目的是通过以下技术方案来实现的：一种大数据网络爬虫分页选择方法，它包括以下步骤：

S1：第一解析，解析爬虫脚本；

S2：第一匹配，获取匹配符，对爬虫脚本内容中的标签信息进行匹配；

S3：存储，将匹配成功的标签的特征值存入URL队列中；

S4：获取及校验，获取URL队列中的URL连接地址，校验URL连接地址；

S5：第二匹配，获取校验后的URL连接地址，进行地址匹配；

S6：第二解析，解析地址匹配成功的URL地址的网页，获取分页信息。

进一步描述，在步骤S6之后，还包括一个返回步骤S7，所述的返回步骤S7，在获取分页信息后，返回到步骤S2中，从而实现循环爬取。

进一步描述，在步骤S1之前，还包括一个配置步骤S0，所述的配置步骤S0，用于配置爬虫脚本中的分页配置部分。

所述的配置步骤S0，包括以下子步骤：

第一配置，配置分页组的定位符；