[发明专利]数据采集的方法、装置、服务器及存储介质

说明书

本申请实施例提供一种数据采集的方法、装置、服务器及存储介质。该方法包括：获取第一阈值数量的线程，将待采集的网站地址放入任务队列；获取第二阈值数量的代理服务器，将所述代理服务器添加至代理队列；从所述代理队列中取出目标代理服务器；调用所述线程中的目标线程执行通过所述目标代理服务器访问从所述任务队列当中取出的目标网站地址对应的页面。本方法通过队列的方式使用代理服务器，可以防止同一个代理服务器同时被多个数据采集进程使用，从而可以提升数据采集的效率。

技术领域

本申请涉及互联网技术领域，更具体地，涉及一种数据采集的方法、装置、服务器及存储介质。

背景技术

伴随着计算机科学技术的发展，越来越多的公司将数据发布到互联网当中，数据作为人工智能、用户画像以及舆情分析等领域的基石，如何高效、准确的去获取互联网中公开的数据成为了一个日益重要的问题。数据的采集方总是希望可以在短时间内在互联网当中采集准确的数据，但是由于网络爬虫会对网站造成一定的访问压力，有些网站会采取一些反爬虫策略来应对爬虫，即当网站检测出爬虫的时候，会禁止爬虫访问或返回错误的数据给爬虫，这样会严重降低采集到的数据的完整性和准确性。其中，如果想要大规模地去采集数据，通常会使用代理服务器去采集数据(采集数据的时候把数据请求发送给代理服务器，代理服务器把请求发送给目标网站，目标网站将数据返回给代理服务器，代理服务器将数据返回)，但是代理服务器会有一定的生命周期，在使用一段时间后会失效，并且通过同一个代理服务器访问网站的次数过多也会被网站检测到而被阻止，且获取代理服务器具有一定的成本，因此如何有效的使用代理服务器获取网站地址的页面信息，提高代理服务器的使用周期，是当前需要解决的问题。

发明内容

有鉴于此，本申请实施例提供一种数据采集的方法、装置、服务器及存储介质，以实现改善上述问题。

第一方面，本申请实施例提供了一种数据采集的方法，该方法包括：获取第一阈值数量的线程，将待采集的网站地址放入任务队列；获取第二阈值数量的代理服务器，将代理服务器添加至代理队列；从代理队列中取出目标代理服务器；调用线程中的目标线程执行通过目标代理服务器访问从任务队列当中取出的目标网站地址对应的页面。

第二方面，本申请实施例提供了一种数据采集的装置，该装置包括数据采集模块，该数据采集模块包括：第一获取模块，用于获取第一阈值数量的线程，将待采集的网站地址放入任务队列；第二获取模块，用于获取第二阈值数量的代理服务器，将代理服务器添加至代理队列；取出模块，用于从代理队列中取出目标代理服务器；访问模块，用于调用线程中的目标线程执行通过目标代理服务器访问从任务队列当中取出的目标网站地址对应的页面。

第三方面，本申请实施例提供了一种服务器，包括存储器，一个或多个处理器；一个或多个程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述第一方面的数据采集的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有程序代码，其中，在程序代码由处理器运行时执行上述第一方面的数据采集的方法。

相对于现有技术，本申请实施例提供的一种数据采集的方法、装置、服务器及存储介质，通过获取第一阈值数量的线程，再将待采集的网站地址放入任务队列；继而获取第二阈值数量的代理服务器，再将代理服务器添加至代理队列；然后从代理队列中取出目标代理服务器；调用线程中的目标线程执行通过目标代理服务器访问从任务队列当中取出的目标网站地址对应的页面。本方法通过队列的方式使用代理服务器，可以防止同一个代理服务器同时被多个数据采集进程使用，从而可以提升数据采集的效率。

为了让本申请的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明