[发明专利]一种基于ADSL的代理集群服务系统及方法

说明书

技术领域

本发明涉及一种基于ADSL的代理集群服务系统及方法。

背景技术

目前代理服务器如squid(一种代理服务器)等，通常运行在单一服务器节点上，每次仅使用单一ip(网络之间互联的协议)，在需要获取大量目标网站数据时，因单一ip请求次数太多，而被目标网站禁止访问，导致数据获取无法进行。而现有的多ip代理方法无法处理ip重复获取问题，且在切换ip时，对当前代理请求不做任何处理，导致代理请求超时过多。且客户端在使用时，无法统计当前已使用ip数量，而统计这些运行状态对数据采集的策略调整较为重要。

发明内容

本发明的目的在于针对现有代理技术的不足，提供一种基于ADSL(异步传输模式)的代理集群服务系统及方法。

本发明的目的是通过以下技术方案来实现的：一种基于ADSL的代理集群服务系统，包括状态管理集群、ip计数服务器、ADSL服务器集群和客户端；

所述状态管理集群负责控制ADSL服务器集群中ADSL服务器的重拨和状态收集；

所述ip计数服务器负责对有效时间T内的公网ip计数并提供计数查询功能，超过T后，该ip计数清零；

所述ADSL服务器集群中的每台服务器负责执行ADSL重拨、向状态管理集群汇报ip和状态，并提供代理服务；

所述客户端负责与状态管理集群进行通讯，查询当前可用代理，并通过该代理访问外部网络。

一种基于ADSL的代理集群服务方法，该方法包括如下步骤：

(1)在状态管理集群中保存所有ADSL服务器的配置，包括最小可用代理数Pmin，同ip可重复次数Lmax，最小重拨时间间隔Tmin，代理请求超时时间Tout。

(2)ADSL服务器启动服务后，重拨获取公网ip，查询ip计数服务器中该ip的当前计数，若大于Lmax，则继续重拨直到获取的公网ip计数小于Lmax。然后将ip计数服务器中该ip的计数加1，向状态管理集群汇报可用状态，状态管理集群为其分配一个递增序号Did。

(3)状态管理集群监控可用ADSL服务器数量，每当可用ADSL服务器数量发生改变时(即有ADSL服务器向状态管理集群发送可用通知或发送不可用通知)，判断可用ADSL服务器数量是否小于Pmin，若小于Pmin，则继续监控。否则执行步骤4。

(4)状态管理集群通知序号最小的ADSL服务器进行重拨。该ADSL服务器接到通知后，判断当前时间与上次重拨时间间隔Tv是否小于Tmin，若小于Tmin，则需等待Tmin-Tv，否则不用等待。通知状态管理集群将该ADSL服务器设置为不可用，此时，状态管理集群中的可用ADSL服务器数目发生改变。等待Tout后执行重拨，方法同步骤2。

(5)客户端与状态管理集群通讯，实时获取当前可用ADSL服务器，并通过该ADSL服务器代理访问外部网络。

进一步地，状态管理集群保存当前可用ADSL服务器状态列表，该列表包含每一可用ADSL服务器的局域网ip(Local)、广域网ip(Global)、广域网ip已使用次数(count)、代理端口号及序号Did。

本发明的有益效果是：本发明使用代理集群有效提高了数据吞吐量，使用动态ip有效减少目标网站禁止访问的次数，通过设置重拨等待时间，可在重拨等待时间内有效处理已经接收到的请求，不至于因重拨导致请求超时过多。

附图说明

图1为本发明实施例的代理集群服务系统示意图。

具体实施方式

下面结合附图与实施例对本发明进行进一步说明。

本发明提供的一种基于ADSL的代理集群服务系统，包括状态管理集群、ip计数服务器、ADSL服务器集群和客户端；

所述状态管理集群负责控制ADSL服务器集群中ADSL服务器的重拨和状态收集；具体地，状态管理集群可采用ZooKeeper集群实现；

所述ip计数服务器负责对有效时间T内的公网ip计数并提供计数查询功能，超过T后，该ip计数清零；可采用redis或memcache实现；

所述ADSL服务器集群中的每台服务器负责执行ADSL重拨、向状态管理集群汇报ip和状态，并提供代理服务；具体地，代理服务可通过squid方式实现，代理端口为Pproxy。

所述客户端负责与状态管理集群进行通讯，查询当前可用代理，并通过该代理访问外部网络。

本发明还提供一种基于ADSL的代理集群服务方法，该方法包括如下步骤：