[发明专利]一种网络代理的优选方法

说明书

本发明涉及计算机技术领域，公开了一种网络代理的优选方法，包括以下步骤：获取代理池，将代理池中所有代理的连接成功率初始化为1，将连接成功率作为代理的权重；利用威尔逊区间法计算所有代理连接成功率在置信水平下的置信区间的下限，取置信区间的下限作为调整后的连接成功率；统计所有代理的平均连接成功率S和平均尝试连接次数N；对于尝试连接次数低于平均尝试连接次数N的代理，需要对其调整后的连接成功率进行平滑处理；以调整后的连接成功率或平滑处理后的连接成功率作为各代理的权重；重复步骤S2～S3，统计所有代理的连接成功率，这种网络代理的优选方法，对于高效率地选取可用代理具有较好的效果。

技术领域

本发明涉及计算机技术领域，特别涉及一种网络代理的优选方法。

背景技术

在使用网络爬虫对互联网海量公开资源进行抓取的过程中，使用网络代理服务以达到提升抓取效率和爬虫生存周期的目的，是一种常见的做法。网络代理服务通常由独立的第三方进行提供，主要分为随用随取和代理池两种模式。前者提供了生命周期较短的高质量代理，每次使用时都获取一个新的代理。但是如果从成本和安全等角度考虑，选择了后者的代理池模式，将在初始状态下获得由大量代理构成的代理池，使用时将依赖于特定的算法从池中选择代理。常见的选择算法包括了轮询(遍历代理池以找到可用的代理)、随机(通过伪随机数选择)、加权随机(赋予各代理不同的权重再进行随机选取)等等。在代理连接不稳定或其他可能导致代理不可用的情况下，这些算法都面临着效率较低的问题，而且对于动态补充的新代理，无法做到有针对性的区隔和公平对待。

发明内容

本发明提供一种网络代理的优选方法，能够高效率地选取可用代理。

本发明提供了一种网络代理的优选方法，包括以下步骤：

S1、获取代理池，将代理池中所有代理的连接成功率初始化为1，将连接成功率作为代理的权重；

S2、根据代理的权重，对所有代理进行加权随机抽样，利用抽样抽取到的代理访问网络目标，尝试与网络目标连接，如果连接失败则再次进行加权随机抽样，直到连接成功或者达到设定的失败次数后跳过本次连接，连接成功后更新代理的连接成功率s，并记录尝试连接次数n；

S3、调整所有代理的连接成功率；

S31、利用威尔逊区间法计算所有代理的连接成功率在置信水平下的置信区间的下限，取置信区间的下限作为调整后的连接成功率；

S32、统计所有代理的平均连接成功率S和平均尝试连接次数N；

S33、对于尝试连接次数低于平均尝试连接次数N的代理，需要对其调整后的连接成功率进行平滑处理；

S34、以调整后的连接成功率或平滑处理后的连接成功率作为各代理的权重；

S4、重复步骤S2～S3的过程，统计所有代理的连接成功率。

上述步骤S2中的所有代理包括获取代理池时代理池中原有的代理以及后来动态加入代理池中的新代理，初始化新代理的连接成功率为1。

上述步骤S31中利用威尔逊区间法计算置信区间下限的公式为：

式(1)中s为某代理的连接成功率，n为某代理的尝试连接次数，z_1-a2为对应某个置信水平的z统计量，α为置信水平。

上述步骤S33中所述平滑处理是通过贝叶斯平均进行平滑处理，连接成功率的贝叶斯平均的公式为：

式(2)中s′为某代理调整后的连接成功率，S为所有代理的平均连接成功率，n为某代理的尝试连接次数，N为平均尝试连接次数。

与现有技术相比，本发明的有益效果在于：