[发明专利]一种分布式网络爬虫系统

摘要

一种分布式网络爬虫系统，适用于网络信息采集领域，包括：管理门户、中心节点服务器、分布式子节点服务器；管理门户是爬虫系统对管理员提供的Web接口，能够查看中心节点服务器和分布式子节点服务器的日志，设置添加主题，更新某个主题的URL种子，配置主题的抓取频率参量，控制爬虫的状态；中心节点服务器和分布式子节点服务器爬虫是系统的主体，完成主题操作、数据抽取器的学习、页面分析以及目标页面的存储。本发明实现了一个爬虫容纳不同主题的抓取，提高了抓取网页的速度和质量不能满足了用户要求。

主权项

一种分布式网络爬虫系统，其特征在于包括：管理门户、中心节点服务器、分布式子节点服务器；管理门户是爬虫系统对管理员提供的Web接口，能够查看中心节点服务器和分布式子节点服务器的日志，设置添加主题，更新某个主题的URL种子，配置主题的抓取频率参量，控制爬虫的状态；中心节点服务器和分布式子节点服务器作为爬虫是系统的主体，完成主题操作、数据抽取器的学习、页面分析以及目标页面的存储；（1）中心节点服务器，包括URL控制器、抽取器模块和主题控制模块；主题控制模块，从管理接口接收管理门户发送来的数据，包括主题的描述数据、添加和删除操作数据、控制主题抓取频率的数据，完成关于主题的操作，包括对主题的描述、添加和删除；控制主题抓取频率；编辑每个主题种子队列，并将主题种子队列发送至抽取器模块和URL控制器模块；抽取器模块，接收主题种子队列后，首先通过基本分析器来把种子队列的URL地址代表的网页进行分类，分为Deep Web网页和数据密集型(Data‑intensive)网页，然后分别对两种页面进行抽取，找到各个类型对应的数据抽取器，再把URL地址和相应的数据抽取器行进对应记录，并把记录发送给URL控制器；URL控制器，接收主题控制模块发送的种子队列和抽取器模块发送的URL地址和对应的数据抽取器记录，将这两个数据进行整合，把URL地址和分布式 子节点服务器中相应的数据抽取器相对应，没有对应数据抽取器的URL地址就对应为通用抽取器，将所有的URL地址排成队列，通过任务分割法将任务发送给每个爬虫分布式子节点；（2）分布式子节点服务器包括子节点URL控制器、数据抽取器、搜索控制器、网页抓取器；子节点URL控制器，接收中心节点服务器发送过来的种子URL和对应数据抽取器信息；接收URL后首先进行URL地址查重，然后将没有重复采集的URL地址排进队列，并将队列中URL地址和对应的数据抽取器信息发送给数据抽取器和网页抓取器；数据抽取器，把来自子节点URL队列的Deep Web网页进行页面分析并提取页面中地URL形成新的URL，相当于表单提交后的对象，传递给网页抓取器；接收搜索控制器发送的页面后，使用页面URL地址对应的抽取器进行内容抽取和页面中URL地址的提取，然后把URL地址送入URL地址库等待采集；网页抓取器，接收子节点URL控制器和数据抽取器发送过来的URL地址，进行网页的抓取，抓取后的网页提供给搜索控制器；搜索控制器，对接收到采集到的页面进行分析，符合要求的页面保存入页面库，否则把页面传递给数据抽取器。