[发明专利]一种用于IDC有害信息监测平台的爬虫系统

权利要求书

1.一种用于IDC有害信息监测平台的爬虫系统，其特征在于：它包括一个或多个爬虫集群，且每个爬虫集群均包括多个爬虫结点和一个爬虫根节点，形成一个分布式的数据采集网络，其中，爬虫根节点用于对该爬虫集群中的爬虫结点进行控制和管理，爬虫结点用于采集网络中的有害信息，所述每个爬虫结点均由以下多种模块组成：

多线程网页采集模块，包括多种网页采集通道及网页解析模块，针对不同类型的网页，通过与其相匹配的网页采集通道和网页解析模块对其进行采集；

网页库，存储多线程网页采集模块所采集的网页；

编码识别处理模块，自动识别网页的编码类型，并对其进行编码转换处理；

网页内容自动提取模块，包括动态网页内容提取模块和静态网页内容提取模块，根据敏感词库抓取编码转换处理后存在有害信息网页的URL；

间隔抓取模块，间隔抓取模块通过网页评分和网站权重自动生成间隔规则，并控制所述网页内容自动提取模块对网页进行相应的间隔抓取；URL过滤器，过滤不需要下载的URL；

URL去重模块，用于判断过滤后的URL是否与URL存储器中所存储的URL一致，若一致则不再对该URL进行后续的处理；

URL调度模块，根据去重后的URL队列，控制多线程网页采集模块下载相应的网页。

2.根据权利要求1所述的一种用于IDC有害信息监测平台的爬虫系统，其特征在于：所述爬虫结点还包括网页去重模块，用于判断网页内容是否与已下载过的网页内容一致，若一致则不再对该网页进行后续的处理，并从网页库中将其删除。

3.根据权利要求2所述的一种用于IDC有害信息监测平台的爬虫系统，其特征在于：所述网页去重模块包括指纹计算模块、指纹库和指纹去重模块，指纹计算模块根据网页指纹算法，将网页的内容经过计算生成指纹，指纹去重模块将该生成指纹与指纹库中的指纹进行对比，若存在相同或相近似的指纹，则判断该网页内容已下载过，指纹库用于存储指纹数据，且每个爬虫结点的指纹库进行同步更新。

4.根据权利要求1所述的一种用于IDC有害信息监测平台的爬虫系统，其特征在于：所述爬虫结点还包括标签计数器和标签计数日志文件，标签计数器用于记录网页库中的下载数，并将该数据记录在标签计数日志文件中。

5.根据权利要求1所述的一种用于IDC有害信息监测平台的爬虫系统，其特征在于：所述爬虫结点还包括抓取规则设置模块，抓取规则设置模块根据所设置的抓取规则，控制网页内容自动提取模块对网页进行相应的抓取动作。

6.根据权利要求1所述的一种用于IDC有害信息监测平台的爬虫系统，其特征在于：所述编码识别处理模块自动将网页的编码类型转换为统一码变换格式UTF。

7.根据权利要求1所述的一种用于IDC有害信息监测平台的爬虫系统，其特征在于：所述爬虫结点还包括反爬虫抓取模块，当网页设置有反爬虫程序时，启动反爬虫抓取模块，对目标网页进行强制采集。

8.根据权利要求1所述的一种用于IDC有害信息监测平台的爬虫系统，其特征在于：所述爬虫结点还包括采集监控模块，采集监控模块将爬虫结点的工作状态、采集任务、采集深度和日志信息转发给爬虫根节点进行汇聚处理，并接收爬虫根节点的控制。

9.根据权利要求1所述的一种用于IDC有害信息监测平台的爬虫系统，其特征在于：所述爬虫结点还包括防火墙，多线程网页采集模块通过防火墙对网络上的有害信息进行检索爬取；

所述爬虫系统还包括全文数据库、索引数据库和列序数据库，全文数据库、索引数据库和列序数据库均与爬虫结点和爬虫根节点连接。