[发明专利]一种用于IDC有害信息监测平台的爬虫系统

摘要

本发明公开了一种用于IDC有害信息监测平台的爬虫系统，它包括一个或多个爬虫集群，且每个爬虫集群均包括多个爬虫结点和一个爬虫根节点，形成一个分布式的数据采集网络，爬虫根节点用于对该爬虫集群中的爬虫结点进行控制和管理，爬虫结点用于采集网络中的有害信息，每个爬虫结点均包括多线程网页采集模块、网页库、编码识别处理模块、网页内容自动提取模块、URL过滤器、URL去重模块和URL调度模块。本发明提供了强大的数据收集功能，通过多个爬虫集群对动态网页和静态网页进行全面的实时监控。

主权项

1.一种用于IDC有害信息监测平台的爬虫系统，其特征在于：它包括一个或多个爬虫集群，且每个爬虫集群均包括多个爬虫结点和一个爬虫根节点，形成一个分布式的数据采集网络，其中，爬虫根节点用于对该爬虫集群中的爬虫结点进行控制和管理，爬虫结点用于采集网络中的有害信息，所述每个爬虫结点均由以下多种模块组成：多线程网页采集模块，包括多种网页采集通道及网页解析模块，针对不同类型的网页，通过与其相匹配的网页采集通道和网页解析模块对其进行采集；网页库，存储多线程网页采集模块所采集的网页；编码识别处理模块，自动识别网页的编码类型，并对其进行编码转换处理；网页内容自动提取模块，包括动态网页内容提取模块和静态网页内容提取模块，根据敏感词库抓取编码转换处理后存在有害信息网页的URL；间隔抓取模块，间隔抓取模块通过网页评分和网站权重自动生成间隔规则，并控制所述网页内容自动提取模块对网页进行相应的间隔抓取；URL过滤器，过滤不需要下载的URL；URL去重模块，用于判断过滤后的URL是否与URL存储器中所存储的URL一致，若一致则不再对该URL进行后续的处理；URL调度模块，根据去重后的URL队列，控制多线程网页采集模块下载相应的网页。