[发明专利]一种大数据网络爬虫分页配置方法

说明书

本发明公开了一种大数据网络爬虫分页配置方法，它包括以下步骤：（1）第一配置，配置分页组的定位符；（2）第二配置，配置页面按钮的匹配符；（3）第三配置，配置标签的属性元素；（4）第四配置，配置标题元素；（5）第五配置，配置文本元素。本发明通过对爬虫脚本的分页部分进行配置，通过采用一种可配置匹配符，在一组选定的标签中自动匹配其属性信息，然后返回特征值信息，用于分页数据精准指向相应的页面按钮，防止网络页面结构混乱导致无法循环爬取网页数据，能够充分保障大数据网络爬虫产品能够循环爬取数据，增强网页过滤能力，有助于提高大数据爬虫产品的网络数据爬取效率。

技术领域

本发明涉及大数据分析处理技术领域，具体是一种大数据网络爬虫分页配置方法。

背景技术

随着网络的迅速发展，每时每刻万维网都在产生各式各样的数据。目前，中国的网站总数约454万个，网页数量突破2000亿个，浪涌般的数据蕴藏着惊人的价值。如何有效地提取并利用这些信息成为一个巨大的挑战。如何让这些繁杂无序的互联网数据产生价值，如何把万维网变成自家的数据库，如何让企业轻松驾驭这些海量数据信息来进行创新、快速洞悉商机，搜索引擎(Search Engine)，例如传统的通用搜索引擎Google和Baidu等，作为一种辅助人们检索信息的工具成为用户访问万维网的入口和指南，被人们广泛使用。但是，这些通用性搜索引擎也存在着一定的局限性，为了尽可能大的网络覆盖率，其搜索出来的数据庞杂精准度低，所返回的结果包中含大量用户不关心的网页。

在目前大数据产业的背景下，网络爬虫通常是一种快速获取互联网数据的有效途径。其中，聚焦类爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，它根据既定的抓取目标，根据一定的网页分析算法过滤与主题无关的链接，有选择的访问万维网上的网页与相关的链接获取所需要的信息。往往我们需要获取的数据是在网页有列表或在表格信息中，而这些数据一般都是具有分页的，聚焦爬虫需要精准识别其分页标签，才能循环获取下一页的数据。当在爬取数据时，有些网页中的“下一页”HTML结构在点击几次“下一页”后会发生改变，数据结构发生改变后则不能通过原来的HTML定位符定位到“下一页”这个按钮，导致无法循环爬取网页数据，而爬虫脚本的配置方式，直接影响大数据网络爬虫的循环爬虫效率。例如，在网络页面的第1页时，页面按钮“下一页“的CSS路径为：body > div > div.main > div.jRight > div.page > a:nth-child(2)，而当循环爬取到第6页的时候，由于分页组中的1、2、3、4等数字下标发生变化，导致页面按钮“下一页“的CSS路径变更为：body > div > div.main > div.jRight > div.page > a:nth-child(3)，下一页结构混乱，导致无法循环判断，不能实现循环爬取网页。

发明内容

本发明的目的在于克服现有技术的不足，提供一种大数据网络爬虫分页配置方法，通过对爬虫脚本分页部分的配置，能够防止网页结构混乱对循环爬取的影响，保障爬虫程序对网页数据循环爬取，尤其是在超大数据量的网络爬虫系统中，有助于提高爬虫产品的网络爬取效率。

本发明的目的是通过以下技术方案来实现的：一种大数据网络爬虫分页配置方法，其特征在于，它包括以下步骤：

（1）第一配置，配置分页组的定位符；

（2）第二配置，配置页面按钮的匹配符；

（3）第三配置，配置标签的属性元素；

（4）第四配置，配置标题元素；

（5）第五配置，配置文本元素。

所述的分页组为页数标签的CSSPATH地址。

所述的定位符为CSSPATH定位符。

所述的第二配置，根据网页中页面按钮的显示字段来配置。