[发明专利]分布式爬虫集群系统

说明书

技术领域

本发明涉及网络数据采集系统，尤其涉及一种分布式爬虫集群系统。

背景技术

二十一世纪的到来，信息成爆炸式增长，人们被淹没在信息垃圾中，在这种情形下，人们为了快捷地抽出有用的信息从而提高工作、学习等效率，提出并实现了搜索引擎。作为搜索引擎的基础和搜索引擎处理的数据的唯一来源，爬虫系统的地位和重要性渐渐突显。但是当今信息更新太快，这就需要提高爬虫的爬抓速度来保持一定的搜索实时性，而现行爬虫系统的速度远远不能达到信息更新的需求。因此，提高爬虫系统的速度便成为当前一个搜索领域的焦点问题。目前，还没有一种系统的行之有效的高速爬虫系统。本发明通过实现分布式爬虫集群系统来解决这一难题。

在实现分布式集群系统的过程中，系统资源的占有矛盾问题成为实现分布式集群系统的瓶颈。本发明通过超链接锁存储器和网页锁存储器来突破该瓶颈进而解决这一难题。

发明内容

针对现有技术存在的问题，本发明的目的是提供一种分布式的爬虫集群系统。

为达到上述目的，本发明提供一种分布式爬虫集群系统，其特征在于包括：

网页爬抓器，用于下载网页并且处理网页；

超链接锁存储器，用于解决资源占有矛盾并且存储超链接；

网页锁存储器，用于解决资源占有矛盾并且存储网页；

超链接给予器，用于将超链接给予网页爬抓器。

所述系统中，所述网页爬抓器包括：

网页下载器，用于下载网页；

超链接分离器，用于从网页中分离出超链接；

网页分离器，用于去除网页中冗余，净化网页以便处理。

本发明的有益效果在于，通过应用本发明所描述的系统，可以有效地解决分布式系统资源的占有矛盾问题；可以为开发分布式爬虫系统提供通用的设计架构；可以十分方便快捷地实现爬虫的集群系统；可以极大幅度地提高爬虫的爬抓速度。

结合附图，本发明的其他特点和优点可以从下面通过举例来对本发明的原理进行解释的优选实施方式的说明中变得更清楚。

附图说明

图1是根据本发明的一个实施方式的系统的结构图。

图2示出图1中网页爬抓器内部结构的一个例子。

具体实施方式

下面将结合附图对本发明的具体实施方式进行详细描述。

图1是根据本发明的一个实施方式的系统的结构图。101表示网页爬抓器，102表示超链接锁存储器，103表示网页锁存储器，以及104表示超链接给予器。

网页爬抓器101，用于下载网页并且处理网页。各个网页爬抓器101相互之间独立。同一时刻，若只有一个网页爬抓器在爬抓网页，显然这样效率低下且不能达到实时性的要求。为了提高爬抓速度，利用多个网页爬抓器101同一时刻同时工作，这样就极大的提高了爬抓速度。网页爬抓器101的个数通常由硬件所能承受的能力和网络环境条件所决定。一个具体实施例在图2中所示。

超链接锁存储器102，用于解决资源占有矛盾并且存储超链接。一个超链接锁存储器102的具体实施例是通过关系型数据库，这样便于管理和控制。当有一个网页爬抓器101正在向数据库中存储所爬抓下来并分离出的超链接时，数据库标记为处于占有状态，在数据库管理中此时拒绝其他网页爬抓器101和超链接给予器104对数据库进行任何操作。当某个网页爬抓器101完成了向数据库存储超链接时，数据库标记为空闲状态，在数据库管理中此时允许任何网页爬抓器101和超链接给予器104对数据库进行操作。当超链接给予器104正在检测读取数据库中超链接时，数据库标记为处于占有状态，在数据库管理中此时拒绝所有网页爬抓器101对数据库进行任何操作。当超链接给予器104完成了对数据库的操作时，数据库标记为空闲状态，在数据库管理中此时允许任何网页爬抓器101和超链接给予器104对数据库进行操作。这样就保证了存储和检测都能够独立正常地进行，解决了资源占有的矛盾问题。以上是超链接锁存储器102的一个具体实施例，其他不同的实施例不构成对本发明的限制。