[发明专利]面向海量数据采集的分布式网络爬虫性能优化系统

说明书

本发明属于软件工程技术领域，具体涉及一种面向海量数据采集的分布式网络爬虫性能优化系统。所述系统中，初始化模块用于新建一个去重字符串和一个垃圾链接特征字符串；主节点爬行器用于读取到初始URL地址，爬取模块爬取初始URL地址，生成URL任务队列；爬取模块用于根据URL任务队列进行网页爬取，完成爬取工作。与现有技术相比较，本发明突破了分布式网络爬虫爬取性能瓶颈，爬取性能提高50％以上；提高了URL任务队列的去重效率，满足海量数据采集的效率要求；优化了URL任务队列的存储空间，极大地节省了服务器内存资源；增加了垃圾链接过滤环节，不仅节约服务器内存资源，而且显著提高爬虫效率。

技术领域

本发明属于软件工程技术领域，具体涉及一种面向海量数据采集的分布式网络爬虫性能优化系统。

背景技术

网络爬虫又名网络蜘蛛、网络蚂蚁或者网络机器人等，能够按照设定的规则自动地从网络中获取数据。分布式网络爬虫能够高效获取大规模数据集，广泛应用于搜索引擎和大数据分析中，已经成为海量数据采集的重要工具。

分布式网络爬虫通常包括一个主节点爬行器和多个从节点爬行器，使用Redis内存数据库持久化保存URL任务队列和去重队列。主节点爬行器根据初始URL(统一资源定位符)爬取网页，获得数据，同时也得到新的URL，将新的URL去重后放入URL任务队列；从节点爬行器从URL任务队列中获取URL地址，爬取网页，获得数据，同时也会得到新的URL，经过去重后也会放入URL任务队列，如此反复直到爬虫任务满足结束条件或者URL任务队列为空。

Redis内存数据库自带的URL去重原理是利用数据集合无重复的特性，适用于数据量规模不大的情况。当待去重的链接达到千万量级时，对服务器的内存要求明显提高，且去重效率大幅降低。经过实践，随着爬虫的不断运行，累积的URL任务队列和去重队列会持续占用Redis内存并不断增长，最终会因占满整个服务器的内存而使服务器宕机。

因此，现有的基于Redis的分布式网络爬虫，面对海量数据采集时，性能存在三个方面的不足：(1)庞大的去重队列保存在Redis集合中，不仅造成去重效率低下，也会过度消耗服务器内存资源；(2)垃圾链接层出不穷，Redis内存数据库无法有效分辨，严重影响正常的爬取工作；(3)URL任务队列数据量激增，也会过度占用服务器内存资源。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何解决现有的基于Redis内存数据库的分布式网络爬虫，面对海量数据采集时，存在的去重效率不高和服务器内存资源过度消耗以及垃圾链接无法有效根除的问题，

(二)技术方案

为解决上述技术问题，本发明提供一种面向海量数据采集的分布式网络爬虫性能优化系统，所述分布式网络爬虫性能优化系统包括：初始化模块、爬取模块；其中，

所述初始化模块用于新建一个去重字符串和一个垃圾链接特征字符串；

所述爬取模块用于在主节点爬行器读取到初始URL地址后，爬取初始URL地址，生成URL任务队列；

所述爬取模块还用于根据URL任务队列进行网页爬取，完成爬取工作。

其中，所述初始化模块包括：去重字符串生成单元、垃圾链接特征字符串生成单元；其中，

所述去重字符串生成单元用于在Redis内存数据库中新建一个去重字符串；

所述垃圾链接特征字符串生成单元用于根据垃圾链接的典型特征，在Redis内存数据库中新建一个垃圾链接特征字符串。

其中，所述去重字符串中所有的位数值为0。

其中，所述垃圾链接的典型特征包括：自动评论生成的链接，群发外部的链接。