[发明专利]一种提高代理IP利用率的采集方法

说明书

技术领域

本发明涉及数据采集领域，具体地说是一种涉及搜索、数据分布式存储、数据采集、代理IP等技术的提高代理IP利用率的采集方法。

背景技术

代理IP（代理服务器）英文全称是（ProxyServer），其功能就是代理网络用户去取得网络信息。提供代理服务的电脑系统或其它类型的网络终端称为代理服务器（英文：ProxyServer）。现有技术中，一个完整的代理请求过程为：客户端首先与代理服务器创建连接，接着根据代理服务器所使用的代理协议，请求对目标服务器创建连接、或者获得目标服务器的指定资源。

代理服务器不仅能显著提高浏览速度和效率，更重要的是：它还是Internet链路级网关所提供的一种重要的安全功能，能够突破自身IP访问限制，突破IP封锁，隐藏真实IP，有利于保障网络终端的隐私或安全，防止攻击。

目前有上百台服务器进行互联网采集，而云服务器网段只有几个。分析被封规则可知，现有技术是根据网段进行批量禁止访问的，这样就造成了大量的服务器闲置，再添加服务器也无济于事。

更换代理IP时，如何不让同一个代理IP被多台采集节点使用，并且采集程序能自动更换IP，已经成为采集中遇到的难题。

发明内容

本发明的技术任务是针对上述现有技术的不足，提供一种提高代理IP利用率的采集方法。该方法能够使采集系统避开被封的情况，有效地提高数据采集效率。

本发明的技术任务是按以下方式实现的：一种提高代理IP利用率的采集方法，其特点通过建立代理IP资源池对代理IP进行统一管理分配，采集程序调用资源池中的代理IP。

优选为优选，上述采集方法的具体步骤如下：

（1）通过代理IP接口，实时获取IP及端口；

（2）将代理IP及端口信息存入MongoDB中；

（3）通过MongoDB搜索，将代理IP进行可用性筛选；

（4）根据被封程度，采集程序配置获取代理IP的周期；

（5）更换代理IP，采集程序自动处于等待状态；

（6）将过期代理IP进行清除。

进一步的，步骤（5）中，采集程序可以根据时间间隔或者采集次数调用资源池中的代理IP。

与现有技术相比，本发明的提高代理IP利用率的采集方法具有以下有益效果：

（一）将代理IP进行统一管理分配，可以有效提高代理IP利用率，使采集系统避开被封的情况；

（二）本发明方法可运行于各种采集系统，具有易于实现、适应面广等特点，具有良好的推广应用价值。

附图说明

附图1是本发明提高代理IP利用率的采集方法的流程图。

具体实施方式

参照说明书附图以具体实施例对本发明的提高代理IP利用率的采集方法作以下详细地说明。

实施例：

为了快速搜索及分配资源池中的代理IP信息，进行以下几步部署：

第一步，部署MongoDB分布式存储节点，即，建立MongoDB分布式存储库；

第二步，安装分析过滤代理IP可用性系统；

第三步，调用MongoDB搜索接口；

第四步，配置管理采集程序更换代理IP的方式。

如附图1所示，本发明提高代理IP利用率的采集方法的具体步骤如下：

（1）通过代理IP接口，实时获取IP及端口；

（2）将代理IP及端口信息存入MongoDB中；

（3）搜索分析库中的IP可用性，即，通过MongoDB搜索，将代理IP进行可用性筛选；

（4）根据被封程度，采集程序配置获取代理IP的周期；

（5）采集程序根据时间间隔或者采集次数调用资源池中的代理IP，采集程序自动处于等待状态；

（6）将过期代理IP进行清除。