[发明专利]快速识别HTTP代理IP地址的方法、装置及电子设备

说明书

本发明公开了一种快速识别HTTP代理IP的方法、装置以及电子设备，该方法面向的对象是大规模的IP地址库，IP地址库是给定的或者通过反向扫描互联网上的所有主机所收集的IP地址；无状态发射器向每个所述IP发送一个SYN握手数据包连接之后忘记该连接，在发送的SYN握手数据包的可用字段中加入特定的识别信息可以过滤掉其它的应用流量；通过CDN进行加速将路由导向最近的服务节点；如果上述带有识别信息的数据包能达到识别服务器，则认定该IP节点为HTTP代理IP节点，将IP节点与对应的端口进行记录。本发明能够快速准确地识别IP地址是否为HTTP代理IP，面向大规模的网络IP库进行大批量识别时，因为采用无状态扫描机制提升了识别速度，对全网的HTTP代理IP节点进行识别。

技术领域

本发明涉及网络安全领域，尤其涉及一种识别HTTP代理IP地址的装置和方法。

背景技术

代理服务器英文全称是Proxy Server，其主要功能是代理网络用户去取得网络信息资源，其主要责任就是转发网络信息，形象地说：它是网络信息的中转站。目前，代理IP服务器技术已经非常广泛的应用于互联网的各个领域，其初衷是为互联网用户带来便利，然而，在网络迅猛发展的同时，网络安全管理却出现了新的课题，特别是网络安全问题。一方面，代理服务器技术很容易就打破了风险控制领域的HTTP代理IP地址与地理位置互查技术，该技术长期以来作为一个强风险因子而被使用。也即是说，检测一个用户是否短时间内在不同的地理位置登录，如果是，则可以认为是一个高风险操作。另一方面，代理服务器技术可以隐藏自己的 IP 地址以减少自己访问网站留下的痕迹。也正因如此，有破坏者使用代理工具访问一些站点（例如，维基百科）并做出无效、甚至错误的修改来毁坏站点。本申请的主要目的就是区分出用户是否使用IP代理服务器。也就是说，判断一个IP地址是一个终端上的真实IP地址，还是一个虚拟的HTTP代理服务器的IP地址。

本问题一直在网络安全领域中被讨论，本领域也有针对该类问题的一些解决方案，但是这些解决方案主要还是集中在两个方向：1、代理服务器库的收集，有基于爬虫从互联网上抓取的，还有基于主动扫描的代理服务器收集。2、基于反向探测，反向扫描目前互联网上的所有主机，判断知名的代理端口是否开放。第一种思路下的方案，代理服务器库的收集，针对基于爬虫从互联网上抓取的方式，有很多代理服务器是未在互联网上公布的，或者是黑客控制的一些肉机，此信息非常的不完全。第二种思路下的方案，基于反向探测，原理就是反向扫描所有的IP地址，判断一些常用的代理端口是否开放。但是互联网上活跃主机量非常巨大，而且代理服务器的服务端口不固定，故此方案扫描周期非常长。

现有的HTTP代理IP节点识别方法大多通过终端发送请求与服务器建立http连接然后监听回应从而进行识别，但是进行TCP连接的三次握手过程非常耗时，因而不适合对大的IP库进行快速的代理IP节点识别。所谓三次握手(Three-way Handshake) ，是指建立一个TCP连接时，需要客户端和服务器总共发送3个报文。一般而言，握手过程中会等待服务器的回复，当进行大量扫描时，这个等待的时间会成为提高扫描速度的瓶颈，不论使用多线程、多进程还是调整timeout参数也都不能满足大批量IP识别的要求。

发明内容

本发明要解决的技术问题是一种面向大规模网络能快速准确地识别出哪些IP地址是HTTP代理IP的方法以及装置，海量的IP库进行大批量识别时，握手过程中不需要等待服务器的回复，因为采用无状态扫描机制大大提升了扫描的速度，这样可对全网的代理节点进行识别。

为了解决上述技术问题，本发明提供了一种面向大规模网络快速识别HTTP代理IP地址的方法，包括如下步骤：

S1：构建IP地址库，该IP地址库是给定的或者通过反向扫描互联网上的所有主机所收集的IP地址；

S2：无状态发射器向每个所述IP地址库的IP节点发送一个SYN握手数据包连接之后忘记该连接，在发送的SYN握手数据包的可用字段中加入特定的识别信息可以过滤掉其它的应用流量；