[发明专利]实现非法站点扫描的方法和系统

权利要求书

1.一种实现非法站点扫描的方法，其特征在于，该方法包括：

根据URL下载页面，分析出下载的页面的所有URL，使用二分法对下载的URL中的文档进行扫描，获得非法关键字信息。

2.根据权利要求1所述的方法，其特征在于，所述根据URL下载页面的过程为：

应用扫描管理进程从未扫描URL队列中取出URL，根据取出的URL使用HTTP协议下载页面。

3.根据权利要求2所述的方法，其特征在于，所述根据URL下载页面的方法为：

将URL分配给网页下载组件，由网页下载组件应用自身的URL队列访问并下载相关web文件。

4.根据权利要求1至3任一项所述的方法，其特征在于，使用二分法进行所述扫描的方法为：

根据设置的查找区间，使用二分法对下载的URL中的文档进行扫描。

5.根据权利要求4所述的方法，其特征在于，该方法进一步包括以下操作中至少之一：

提交扫描出的非法关键字信息；

在下载页面时对抓取目标进行控制，防止下载页面过程中的服务器过载。

6.一种实现非法站点扫描的系统，其特征在于，该系统包括：页面下载单元、URL处理单元、扫描单元；其中，

所述页面下载单元，用于根据被通知的URL下载页面，并将下载的页面反馈给URL处理单元；

所述URL处理单元，用于将涉及页面下载的URL通知给页面下载单元，以及分析出所述页面下载单元所下载的页面的所有URL，再通知给扫描单元；

所述扫描单元，用于使用二分法对被通知的所述URL中的文档进行扫描，获得非法关键字信息。

7.根据权利要求6所述的系统，其特征在于，所述页面下载单元根据URL下载页面时，用于：

应用扫描管理进程从未扫描URL队列中取出URL，根据取出的URL使用HTTP协议下载页面。

8.根据权利要求7所述的系统，其特征在于，所述页面下载单元根据URL下载页面时，具体用于：

将URL分配给网页下载组件，由网页下载组件应用自身的URL队列访问并下载相关web文件。

9.根据权利要求6至8任一项所述的系统，其特征在于，所述扫描单元使用二分法进行所述扫描时，用于：

根据设置的查找区间，使用二分法对下载的URL中的文档进行扫描。

10.根据权利要求9所述的系统，其特征在于，

该系统进一步包括防止服务器过载模块，用于在下载页面时对抓取目标进行控制，防止下载页面过程中的服务器过载；

和/或，所述扫描单元进一步用于：提交扫描出的非法关键字信息。