[发明专利]数据采集的方法、装置、服务器及存储介质

权利要求书

1.一种数据采集的方法，其特征在于，所述方法包括：

获取第一阈值数量的线程，将待采集的网站地址放入任务队列；

从代理池中获取第二阈值数量的代理服务器，将所述第二阈值数量的代理服务器添加至代理队列，所述代理队列中的代理服务器的评分高于阈值分数，所述代理服务器的评分用于评估所述代理服务器的质量；

从所述代理队列中取出一个代理服务器作为目标代理服务器；调用目标线程执行通过所述目标代理服务器访问目标网站地址对应的页面，所述目标线程是所述第一阈值数量的线程中的任一线程，所述目标网站是从所述任务队列中取出的一个网站地址；

基于所述目标代理服务器对所述目标网站地址对应的页面进行访问得到的访问结果未达到预期的访问结果时，降低所述目标代理服务器的评分；

删除所述代理池中评分低于阈值分数的代理服务器；

当所述代理池中的代理服务器的数量低于设定阈值时，从网络中获取代理服务器并存入所述代理池。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

判断所述页面访问是否成功；

若所述页面访问成功，将所述代理服务器放回所述代理队列；

所述基于所述目标代理服务器对所述目标网站地址对应的页面进行访问得到的访问结果未达到预期的访问结果时，降低所述目标代理服务器的评分，包括：

若所述页面访问未成功，降低所述目标代理服务器的评分；将所述目标代理服务器放回所述代理队列，将所述目标网站地址放回所述任务队列。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

若所述页面访问成功，校验采集到的所述页面对应的数据是否存在异常；

若所述页面对应的数据不存在异常，将所述页面对应的数据进行存储；

所述基于所述目标代理服务器对所述目标网站地址对应的页面进行访问得到的访问结果未达到预期的访问结果时，降低所述目标代理服务器的评分，还包括：

若所述页面对应的数据存在异常，则降低所述目标代理服务器的评分，将所述目标网站地址放回所述任务队列。

4.如权利要求2所述的方法，其特征在于，所述方法还包括：

若所述页面访问成功，判断所述任务队列是否为空；

若为空，则结束任务；否则执行从所述代理队列中取出一个代理服务器作为目标代理服务器，调用目标线程执行通过所述目标代理服务器访问目标网站地址对应的页面。

5.如权利要求1所述的方法，其特征在于，所述从所述代理队列中取出目标代理服务器的步骤之后还包括：

判断所述目标网站地址对应的页面的访问失败的次数是否大于第二预设阈值；

若大于，将所述页面进行记录；

若不大于，则执行从所述代理队列中取出一个代理服务器作为目标代理服务器，调用目标线程执行通过所述目标代理服务器访问目标网站地址对应的页面。

6.如权利要求1所述的方法，其特征在于，所述从所述代理队列中取出一个代理服务器作为目标代理服务器，调用目标线程执行通过所述目标代理服务器访问目标网站地址对应的页面的步骤之前还包括：

判断所述代理队列中的代理服务器的数量是否小于第一预设阈值；

若小于，则向所述代理池请求获取不低于第一预设阈值数量的代理服务器，将所述不低于第一预设阈值数量的代理服务器排序后添加至所述代理队列，所述代理池中存储有成功采集数据的代理服务器。

7.如权利要求6所述的方法，其特征在于，所述当所述代理池中的代理服务的数量低于设定阈值时，从网络中获取代理服务器并存入所述代理池，包括：

当所述代理池中的代理服务的数量低于设定阈值时，从网络中获取代理服务器，对从网络中获取的代理服务器进行校验；

若校验成功，将所述从网络中获取的代理服务器存储到所述代理池。