[发明专利]一种基于Hadoop的分布式网络爬虫系统

摘要

本发明提出一种基于Hadoop的分布式网络爬虫系统，包括系统总调度模块、页面下载模块、页面解析模块、URL调度模块、文本分类模块、数据存储模块实现对互联网数据的高效准确爬取，特别是本发明通过改进爬虫系统的调度方式和判断逻辑，保证了爬虫系统能够获得多维度的信息，此外，本发明的爬虫系统还结合了分布式系统架构的特点，提高了数据处理效率。

主权项

1.一种基于Hadoop的分布式网络爬虫系统，其特征在于系统包括以下模块：系统总调度模块：作为系统的核心调度模块，是系统运行的入口，负责整个爬虫系统的启动，该模块主要定义爬虫系统启动类和用于数据传递的实体类，可以传递其他模块对应的接口构造一个爬虫实例；页面下载模块：爬虫系统的关键核心模块，职责是从互联网各服务器抓取网页，具体是根据URL链接通过DNS查询获得网页所在服务器并与服务器建立连接，模拟HTTP请求获得HTTP响应进而下载网页内容，下载网页时可以利用多线程并行采集网页，同时要充分利用MapReduce计算模型；页面解析模块：主要负责HTML页面分析及链接提取，通过自定义PageProcessor接口的实现类定制一个自己的垂直爬虫系统；该模块的功能包括两部分，一是提取出待抓取的URL链接，二是从页面提取出符合条件的目标数据，并将数据生成Dataltems实例，传递给DataStore模块进行持续化储存；URL调度模块：主要负责URL链接优化去重工作，网页下载模块从不同服务器抓取网页并从中提取出超链接，这些URL中肯定有一些重复或不符合标准，必须将这些链接URL进行处理再使用才能避免降低爬虫系统性能；该模块使用链接去重和规范化进行优化，每种功能可以由单独的Filter过滤器类实现；文本分类模块：每个网页都有自己所属的类别，需要根据网页内容判断网页类别，进而判断网页所代表的企业单位所属的类别，该模块的功能就是根据网页文本内容，采用基于贝叶斯文本分类的分类器判断网页分类；数据存储模块：根据待抓取URL链接库提供的URL，通过页面下载模块从互联网上抓取的网页存储在HDFS上，然后传递给页面解析模块进行页面解析处理。