[发明专利]基于互联网系统的分布式信息抓取方法

说明书

技术领域

本发明涉及一种信息抓取方法，尤其涉及一种基于互联网系统的分布式信息抓取方法。

背景技术

1、什么是信息抓取， 网络爬虫及其发展

信息抓取是将需要的信息从其它网站中抓取出来保存到设计的数据库中的过程，又称网络爬虫、网页蜘蛛、网络机器人，是搜索引擎的重要组成部分。它是一个自动抓取网页内容的程序，为搜索引擎从因特上快速批量下载处理网页。传统的网页爬虫是从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件，才结束抓取进程。

2、什么是分布式抓取，及其分类，体系结构

随着互联网信息的数据量成指数级增长，现有网络爬虫信息采集的速度越来越不能满足实际应用的需要。即使大型的信息采集系统对 Web的覆盖率也只有 30－40％，刷新一遍已经采集的页面常常需要数周到一个月的时间。解决这一问题的最好的办法是用分布式方式来进行网页信息采集。分布式网络爬虫可以看成由多个集中式网络爬虫组合而成。分布式系统中的每个节点都可以看作一个集中式网络爬虫。多个网络爬虫共同运行，肯定会涉及到各个节点间相互通信。

发明内容

本发明的目的就是为了解决现有技术中存在的上述问题，提供一种基于互联网系统的分布式信息抓取方法

本发明的目的通过以下技术方案来实现：

基于互联网系统的分布式信息抓取方法，将爬虫分布在两台或是两台以上的主机上，按照定制的管理机制同时负责抓取网络上的信息，由中央主机控制各抓取机器的抓取方向，然后将各抓取机器得到的数据进行整理汇总，形成有用的信息或是数据，放到索引库或是数据库中，其中：所述的爬虫在同一个局域网里运行，通过高速网络连接相互通信；所述的爬虫通过同一个网络去访问外部互联网，下载网页；所有的网络负载都集中在爬虫所在的那个局域网的出口上；所述的爬虫工作方式包括主从模式、自治模式与混合模式。

上述的基于互联网系统的分布式信息抓取方法，其中：所述的主从模式是由一台主机作为控制节点负责所有运行爬虫的主机进行管理，爬虫从控制节点接收任务，并把新生成任务提交给控制节点，且不与其他爬虫通信；所述的控制节点与所有爬虫进行通信，采用一个地址列表来保存系统中所有爬虫的信息；当系统中的爬虫数量发生变化时，协调者需要更新地址列表里的数据，这一过程对于系统中的爬虫是透明的。

进一步地，上述的基于互联网系统的分布式信息抓取方法，其中：所述的自治模式为，系统中没有协调者，所有的爬虫都必须相互通信，自治模式的通信方式使用全连接通信或环形通信。

更进一步地，上述的基于互联网系统的分布式信息抓取方法，其中：所述的全连接通信是指所用爬虫都相互发送信息，每个爬虫会维护一个地址列表，表中存储着整个系统中所有爬虫的位置，每次通信时直接把数据发送给需要此数据的爬虫；当系统中的爬虫数量发生变化时，每个爬虫的地址列表都需要进行更新。

更进一步地，上述的基于互联网系统的分布式信息抓取方法，其中：所述的环形通信是指爬虫在逻辑上构成一个环形网，数据在环上按顺时针或逆时针单向传输，每个爬虫的地址列表中只保存其前驱和后继的信息；爬虫接收到数据之后判断数据是否是发送给自己的，如果数据不是发送给自己的，就把数据转发给后继；如果数据是发送给自己的，就不再发送；设整个系统中有n个爬虫，当系统中的爬虫数量发生变化时，系统中只有n-1个爬虫的地址列表需要进行更新。

更进一步地，上述的基于互联网系统的分布式信息抓取方法，其中：所述的混合模式为爬虫相互通信，同时都具有任务分配功能；至少有一个特殊爬虫，该特殊爬虫主要对已经经过爬虫任务分配后无法分配的任务进行集中分配；所述的特殊爬虫需除了保存自己采集范围的地址列表外，还保存需要进行集中分配的地址列表。

更进一步地，上述的基于互联网系统的分布式信息抓取方法，其中：所述的主机是指能够运行抓取程序的计算机，包括普通pc机或是服务器。

再进一步地，上述的基于互联网系统的分布式信息抓取方法，其中：所述定制的管理机制为任务控制分发机制，各抓取机器每隔一段时间，将收集来的URL传送到中央主机的URL列表库里，再由中央主机来分发抓取的URL链接。

本发明技术方案的优点主要体现在：分布式信息抓取可以比传统的爬虫可以提供更快，更方便的网络抓取，其优点有如下几点：1、信息抓取速度快，效率高，容错性好；2、升级方便；3、插件管理，方便维护；4、系统可以自由添加减少爬虫机器。