[发明专利]一种基于生产者消费者模式的轻量级垂直网络爬虫的实现方法

说明书

本发明公开了一种基于生产者消费者模式的轻量级垂直网络爬虫的实现方法，具体方法包括配置文件根据实际需要配置URL模式及解析规则；通过构建URL待消费队列容器，形成URL的生产者和消费者模式；对URL待消费队列容器配置URL解析接口，并根据实际需要制定URL解析接口的解析规则；通过URL解析接口解析传入符合模式的目标URL至数据库。一种基于生产者消费者模式的轻量级垂直网络爬虫的实现方法和现有技术相比，提高了系统的可扩展性，降低了系统的耦合度。

技术领域

本发明涉及垂直领域网络爬虫的技术领域，具体地说是一种基于生产者消费者模式的轻量级垂直网络爬虫的实现方法。

背景技术

随着信息技术的飞速发展, 人们的生活以及工作信息变得数字化，各种的数字化信息充斥着整个网络，其数据的潜在价值不可估量，如何高效地抽取并利用这些大量的数据具有很重要的实践意义。

网络爬虫，是一种按照一定的规则，自动爬取互联网信息的程序或脚本。常见的网络爬虫有通用型网络爬虫、垂直型网络爬虫、增量式网络爬虫等。每个爬虫都有不同的应用场景，因此有不同种类的爬虫拥有不同的功能，可以将爬虫分为3种类型:

批量型爬虫：如果针对的网页是已知的并且范围是确定的，那么可以使用批量型爬虫，当爬虫完成了爬取所要求的网页的时候，既可以停止抓取了。具体目标可能有所不同，也可能是只要达到特定的网页量就可以了，也可能是只要在特定的时间之内完成抓取就可以了等等。

增量型爬虫：这一类网络爬虫与上面介绍的爬虫的不同点在于，它会一直去爬取网页。如果抓取到的网页发生变化，这个爬虫也会立刻进行爬取，因为在整个网络中的网页在每时每刻都在发生变化，突然发生添加网页、网页被删掉或者网页内容被修改，这些操作都是用来满足用户体验的，但是对于增量型爬虫需要及时更新它所爬取到的东西，所以在处于这个过程当中，不需要重新去抓取新的网页，而是去更新被爬取的网页。这种爬虫适用于通用的商业搜索引擎。

垂直型爬虫：垂直型网络爬虫，又称聚焦网络爬虫，它根据既定的爬取目标，有选择性地爬取万维网的相关页面并获取所需要的数据。这类网络爬虫是依照网页自身的内容来爬取的，它一般爬取一些围绕某个主题的网页的内容进行爬取或者围绕某个所需要的行业的网页来爬取，它只要去爬取仅仅某一个行业的相关网页，就不用了解其他行业的任何信息。这类爬虫需要关注的焦点在于：如何因为系统资源的有限，我们不能把所有的资源都利用到爬取所有的网页，从里面再去寻找我们所需要的资源这样就大大减少了资源的利用率啦，所以我们需要爬虫能够做到尽快尽可能去寻找到与这个主题最匹配的网页，最好不要去抓取那些完全没必要的网页，从而便可以节省资源。所以这样的爬虫就会局限在垂直搜索网站或者垂直行业网站。

但是传统的垂直型网络爬虫，其系统耦合度高，效率低是亟待解决的问题。

发明内容

本发明的技术任务是针对以上不足之处，提供一种基于生产者消费者模式的轻量级垂直网络爬虫系统及其实现方法。

本发明解决其技术问题所采用的技术方案是：一种基于生产者消费者模式的轻量级垂直网络爬虫的实现方法，方法包括，

配置文件根据实际需要配置URL模式及解析规则；

通过构建URL待消费队列容器，形成URL的生产者和消费者模式；

对URL待消费队列容器配置URL解析接口，并根据实际需要制定URL解析接口的解析规则；

通过URL解析接口解析传入符合模式的目标URL至数据库。

进一步的，优选的方法为，配置文件配置多线程URL模式。

进一步的，优选的方法为，具体方法包括，

S1、加载配置文件，提取配置文件的入口URL；