[发明专利]一种数据抓取方法及装置

说明书

本发明公开了一种数据抓取方法及装置，其中，所述方法包括：基于用户访问互联网的行为，生成网络爬虫对目标网站服务器进行抓取数据的任务对应的调度时间；基于所述调度时间对所述任务进行管理；在将所述任务发送给所述网络爬虫后，通过所述网络爬虫在所述目标网站服务器中进行数据抓取。用于解决现有数据抓取效率低，公平性差的技术问题，提高了数据抓取效率，且保证了抓取任务调度的公平性。

技术领域

本发明涉及计算机应用领域与信息技术领域，特别涉及一种数据抓取方法及装置。

背景技术

随着互联网知识数据的爆炸式增长以及大数据技术在互联网和信息行业的飞速发展，人们越来越依赖于网络爬虫来进行互联网数据的抓取。然而，传统的网络爬虫为了尽可能多的获取网站中的高价值信息，会根据特定策略进行大规模的页面访问，不仅给互联网网站的服务器带来额外的负载压力，而且占用了大量的网络带宽，造成网络拥塞，最终导致数据抓取效率的降低。

因此，很多网站为了应对这一问题，对用户的访问频率进行了监测：当一段时间内来自于同一个源地址的请求数过多时，服务器将会限制该地址用户的后续访问。目前，面对因不合理的抓取方式而被限制访问的问题，网络爬虫主要采取使用代理IP和设置数据抓取频率两种方案。也就是说，第一种方案具体为：网络爬虫系统先将请求发往代理IP，再由代理IP代为访问目标网站。第二种方案具体为：网络爬虫系统通过控制数据抓取频率来实现礼貌抓取。

其中，第一种方案尽管可以避免服务器的对固定IP访问的限制，但是目标网站服务器的负载压力过大的问题并没有得到有效的解决，没有真正地实现礼貌抓取。此外，使用代理IP一方面引入了代理转发的过程，增大了网络负载；另一方面需要额外的时间与资源来判断代理IP的可用性，降低了网络爬虫任务执行成功率。因此，使用代理IP的方法无法应用于面向全网的大规模数据抓取系统。

第二种方案尽管能够实现真正意义上的礼貌爬取，但是这种方法是以牺牲网络爬虫的网络IO性能为代价的。在百兆带宽普及的今天，网络带宽已不是网络爬虫的性能瓶颈，而为网络爬虫设置任务执行的频率不能充分地利用现有的带宽资源，无法达到预期的抓取效率。

此外，在现有技术中，除了使用上述提到的两种方案外，还采用将抓取任务随机打乱之后插入到待抓取队列中等待抓取。尽管这种做法在避免对同一服务器进程长时间的连续访问的同时保证了网络爬虫的高效。然而，这种做法虽然在一定程度上实现了“礼貌爬取”，但是由于缺少对抓取任务的控制，会引发抓取任务调度中的公平性问题，比如，某些任务很早就加入到待抓取队列，但是却一直未得到调度。

可见，在现有技术中，存在对数据抓取效率低，公平性差的技术问题。

发明内容

本发明实施例提供一种数据抓取方法及装置，用于解决现有数据抓取效率低，公平性差的技术问题，提高了数据抓取效率，且保证了抓取任务调度的公平性。

一方面，本发明实施例提供了一种数据抓取方法，包括：

基于用户访问互联网的行为，生成网络爬虫对目标网站服务器进行抓取数据的任务对应的调度时间；

基于所述调度时间对所述任务进行管理；

在将所述任务发送给所述网络爬虫后，通过所述网络爬虫在所述目标网站服务器中进行数据抓取。

可选地，所述基于用户访问互联网的行为，生成网络爬虫对目标网站服务器进行抓取数据的任务对应的调度时间，包括：

基于用户访问互联网的行为，建立网络爬虫对目标网站服务器进行抓取数据的任务的泊松过程模型；

基于所述泊松过程模型，生成所述任务对应的调度时间。

可选地，所述基于所述调度时间对所述任务进行管理，包括：

建立包括待抓取队列、结果队列和等待队列的至少三个工作队列；