[发明专利]一种分页数据采集方法及系统

说明书

本发明公开了一种分页数据采集方法及系统，包括：分别获取网页页面的动态网页源代码和静态网页源代码；比较上述动态网页源代码和静态网页源代码的相似性，判断页面的动静态；基于判定得到的页面动静态，分别基于相对应的下一页识别规则，得到全部分页地址；将全部的分页地址更新到列表页队列中，用以进行数据采集。本发明有益效果：通过区分动态页面和静态页面，能够更高效更准确的获取完整的网页源代码。

技术领域

本发明涉及数据采集技术领域，尤其涉及一种分页数据采集方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着各种网络基础设施、基础资源的不断完善以及新基建的全面启动，网络新闻、网络购物、网络办公、网络政务等各种创新服务也随之大力发展，网站数量不断增加；这些网站上展现着各种各样的新闻、资讯、政策等，蕴含着大量的宝贵价值，例如民声、政策、行业动态、经济趋势等等。

现在的网络数据犹如金矿，网页资源的整合和解析分析，对企业和政府的运行和发展都将起到更广泛的引导和决策作用。为了满足政府和企业对海量网页数据的需求，需要专业的分布式互联网数据采集技术实现通用的网页数据采集。

在现阶段，不同的网站风格迥异各不相同，网站的发展水平也参差不齐，就导致网站的页面结构及实现方式多样，静态网页和动态网页数量均有相应数量的占比。在获取这些网页数据时，通常发现数据并非在一个列表页面上展示，而是将列表页分成了很多页，通过一定的排序展示。

现有技术在进行数据采集时，往往通过手动点击下一页按钮或者配置下一页的Xpath来帮忙识别下一页，这样会耗费大量的人工工作量。

并且，早期的网站通常都是由静态页面制作的，内容在页面生成时就已经编写完成不会改变，爬虫可直接获取网页内容，因此涉及到的数据采集方法大多是针对静态网页进行设计；动态网页的内容是从数据库中或者接口中请求过来拼接而成的，爬虫无法直接获取网页内容，需模仿浏览器访问，且等待几秒后才可以获得网页内容；这样就导致动态网页在进行数据获取时存在技术门槛高、访问速度慢等困难。

发明内容

为了解决上述问题，本发明提出了一种分页数据采集方法及系统，在采集列表页的过程中获取列表页的动态页面源代码和静态页面源代码，通过对比两个页面源代码的相似性判断页面的动静态，并区分动静态制定一系列的识别下一页的规则并进行相应的处理，通过规则匹配和智能解析的方法得到列表页的所有页面URL(统一资源定位符)。

为了实现上述目的，在一些实施方式中，采用如下技术方案：

一种分页数据采集方法，包括：

分别获取网页页面的动态网页源代码和静态网页源代码；

比较上述动态网页源代码和静态网页源代码的相似性，判断页面的动静态；

基于判定得到的页面动静态，分别基于相对应的下一页识别规则，得到全部分页地址；

将全部的分页地址更新到列表页队列中，用以进行数据采集。

在另一些实施方式中，采用如下技术方案：

一种分页数据采集系统，包括：

页面动静态判断模块，用于分别获取网页页面的动态网页源代码和静态网页源代码；比较上述动态网页源代码和静态网页源代码的相似性，判断页面的动静态；

分页地址识别模块，用于基于判定得到的页面动静态，分别基于相对应的下一页识别规则，得到全部分页地址；

数据采集模块，用于将全部的分页地址更新到列表页队列中，用以进行数据采集。

在另一些实施方式中，采用如下技术方案：