[发明专利]实现非法站点扫描的方法和系统

说明书

技术领域

本发明涉及网络技术，具体涉及实现非法站点扫描的方法和系统。

背景技术

现在的网站发展给我们的工作和生活带来极大的便利，可信互联网是发展的必由之路，但是互联网本身的发展导致了很多危害和约束性，比如互联网病毒、钓鱼木马、黄色站点等都属于网络的非法信息，这些非法信息会给用户带来不良后果。

因此，需要对包含上述非法信息的非法站点进行有效扫描，但目前尚未出现有效的非法站点扫描技术。

发明内容

有鉴于此，本发明的主要目的在于提供一种实现非法站点扫描的方法和系统，以实现对非法站点的有效扫描。

为达到上述目的，本发明的技术方案是这样实现的：

一种实现非法站点扫描的方法，包括：根据URL下载页面，分析出下载的页面的所有URL，使用二分法对下载的URL中的文档进行扫描，获得非法关键字信息。

所述根据URL下载页面的过程为：应用扫描管理进程从未扫描URL队列中取出URL，根据取出的URL使用HTTP协议下载页面。

所述根据URL下载页面的方法为：将URL分配给网页下载组件，由网页下载组件应用自身的URL队列访问并下载相关web文件。

使用二分法进行所述扫描的方法为：根据设置的查找区间，使用二分法对下载的URL中的文档进行扫描。

该方法进一步包括以下操作中至少之一：

提交扫描出的非法关键字信息；

在下载页面时对抓取目标进行控制，防止下载页面过程中的服务器过载。

一种实现非法站点扫描的系统，包括：页面下载单元、URL处理单元、扫描单元；其中，

所述页面下载单元，用于根据被通知的URL下载页面，并将下载的页面反馈给URL处理单元；

所述URL处理单元，用于将涉及页面下载的URL通知给页面下载单元，以及分析出所述页面下载单元所下载的页面的所有URL，再通知给扫描单元；

所述扫描单元，用于使用二分法对被通知的所述URL中的文档进行扫描，获得非法关键字信息。

所述页面下载单元根据URL下载页面时，用于：应用扫描管理进程从未扫描URL队列中取出URL，根据取出的URL使用HTTP协议下载页面。

所述页面下载单元根据URL下载页面时，具体用于：将URL分配给网页下载组件，由网页下载组件应用自身的URL队列访问并下载相关web文件。

所述扫描单元使用二分法进行所述扫描时，用于：根据设置的查找区间，使用二分法对下载的URL中的文档进行扫描。

该系统进一步包括防止服务器过载模块，用于在下载页面时对抓取目标进行控制，防止下载页面过程中的服务器过载；

和/或，所述扫描单元进一步用于：提交扫描出的非法关键字信息。

综上所述可见，无论是方法还是系统，本发明实现非法站点扫描的技术能够实现对非法站点的有效扫描，并且比目前的遍历法的扫描效率高。

附图说明

图1为本发明实施例的实现非法站点扫描的原理示意图；

图2为本发明实施例的实现非法站点扫描的流程图；

图3为本发明实施例的实现非法站点扫描的系统图。

具体实施方式

在实际应用中，可以根据非法关键字确定扫描空间，并对扫描空间进行二分法查找。

非法信息关键字数据量一般较大，但一个Web页面中所含的关键字数量会非常少，这样就能够以建立索引的方式将非法信息关键字排序，并按照二分法的算法思路进入对web页面的词语的快速定位。这样就可以逐字缩小查询范围。

需要说明的是，可以控制待检测种子页面URL进入扫描URL队列，如：进程开始时，从数据库中取出待扫描的URL，并将取出的URL同时放入进程中所有扫描的URL和未扫描URL集合中。

扫描系统分为扫描管理进程和扫描进程。扫描管理进程负责对扫描的URL进行管理。扫描管理进程开多线程进程扫描。使用消息队列，不必考虑线程同步问题。一个线程管理一个扫描进程。

URL的结构代码如下：

  typedef struct tagURL

     {

       char url[128]；

       bool state；

       int layer；

  }URL，*PURL；

typedef struct tagURLbag

  {