[发明专利]提升爬虫代理质量的方法、装置及计算机可读存储介质

权利要求书

1.一种提升爬虫代理质量的方法，包括以下步骤：

为若干代理池设置不同优先级；

基于代理池优先级及其使用率来进行代理池的调用；

设置三个不同优先级的代理池，用于存放不同优质程度的网络代理，设置优先级最高的一级代理池，优先级其次二级代理池，优先级最低的备选代理池；

设置与所述代理池一一对应的时间区间；

判断当前网络代理的占用时间在一级代理池对应时间区间内，若是，则将当前网络代理放入一级代理池；若不是，判断当前网络代理的占用时间在二级代理池对应时间区间内，若是，则将当前网络代理放入二级代理池；若不是，则将当前网络代理放入备选代理池；

当代理放入代理池后，爬虫按照优先级顺序调用代理池，优先调用一级代理池，使用代理池中代理，并检测一级代理池的代理使用率，当使用率超过使用率阈值时，爬虫停止调用一级代理池；切换为调用二级代理池，并检测二级代理池的代理使用率，当使用率超过使用率阈值时，爬虫停止调用二级代理池；切换为调用备选代理池，并检测备选代理池的代理使用率，当使用率超过使用率阈值时，爬虫停止调用备选代理池；切换为调用一级代理池。

2.如权利要求1所述的一种提升爬虫代理质量的方法，其特征在于，还包括：在设置三个不同优先级的代理池之后，还包括：

设置与所述代理池一一对应的时间区间。

3.如权利要求2所述的一种提升爬虫代理质量的方法，其特征在于，所述方法还包括：

获取网络代理，通过当前网络代理请求网络资源，根据返回状态判断网络资源是否请求成功。

4.如权利要求3所述的一种提升爬虫代理质量的方法，其特征在于，若请求成功，则获取当前网络代理从发出网络资源请求到成功获取网络资源的占用时间，将当前网络代理占用时间与不同代理池的时间区间比较，当落入其中一时间区间范围内时，将当前代理放入对应时间区间的代理池中。

5.一种提升爬虫代理质量的装置，其特征在于，包括：

N个不同优先级的代理池，每个代理池具有一一对应的时间区间；

资源请求模块，用于获取网络代理，将当前网络代理请求网络资源，根据返回状态判断网络资源是否请求成功，若请求成功，将代理送至代理判决模块，若请求失败，将代理放入废弃代理池；

代理池调用模块，设定代理池的代理使用阈值，按照代理池优先级及代理使用阈值进行代理池调用和切换。

6.如权利要求5所述的一种提升爬虫代理质量的装置，其特征在于，越高优先级的代理池，设置时间区间越小。

7.如权利要求6所述的一种提升爬虫代理质量的装置，其特征在于，所述资源请求模块根据返回状态判断网络资源是否请求成功的具体为，检测返回状态码是否为200至206的任一数值，如果是则请求成功，不是则请求失败。

8.如权利要求7所述的一种提升爬虫代理质量的装置，其特征在于，所述代理池调用模块按照代理池优先级及代理池的代理使用阈值进行代理池调用和切换的具体为，按优先级顺序调用代理池，检测代理池的代理使用率，当代理池的代理使用率达到代理使用阈值，顺位切换调用下一优先级的代理池。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储提升爬虫代理质量程序，所述提升爬虫代理质量程序被执行时实现如权利要求1至4中任一项所述的提升爬虫代理质量方法的步骤。