[发明专利]面向海量数据采集的分布式网络爬虫性能优化系统

权利要求书

1.一种面向海量数据采集的分布式网络爬虫性能优化系统，其特征在于，所述分布式网络爬虫性能优化系统包括：初始化模块、爬取模块；其中，

所述初始化模块用于新建一个去重字符串和一个垃圾链接特征字符串；

所述爬取模块用于在主节点爬行器读取到初始URL地址后，爬取初始URL地址，生成URL任务队列；

所述爬取模块还用于根据URL任务队列进行网页爬取，完成爬取工作。

2.如权利要求1所述的面向海量数据采集的分布式网络爬虫性能优化系统，其特征在于，所述初始化模块包括：去重字符串生成单元、垃圾链接特征字符串生成单元；其中，

所述去重字符串生成单元用于在Redis内存数据库中新建一个去重字符串；

所述垃圾链接特征字符串生成单元用于根据垃圾链接的典型特征，在Redis内存数据库中新建一个垃圾链接特征字符串。

3.如权利要求2所述的面向海量数据采集的分布式网络爬虫性能优化系统，其特征在于，所述去重字符串中所有的位数值为0。

4.如权利要求3所述的面向海量数据采集的分布式网络爬虫性能优化系统，其特征在于，所述垃圾链接的典型特征包括：自动评论生成的链接，群发外部的链接。

5.如权利要求4所述的面向海量数据采集的分布式网络爬虫性能优化系统，其特征在于，所述爬取模块包括：页面爬行模块、页面分析模块、链接处理模块；

所述页面爬行模块用于在用户根据数据采集主题，通过用户中心设定初始URL地址的集合之后，接收主节点爬行器所读取到的初始URL地址；

所述页面爬行模块还用于根据初始URL地址，对互联网网页发出请求；

互联网网页响应页面爬行模块的请求，并返回响应内容；

所述页面分析模块用于根据相关主题对响应内容进行解析，提取内容保存到数据库以备查询，同时获得新URL地址；

所述链接处理模块用于对新URL地址进行处理，保存到Redis内存数据库的URL任务队列中，形成URL任务队列。

6.如权利要求5所述的面向海量数据采集的分布式网络爬虫性能优化系统，其特征在于，所述链接处理模块包括：垃圾链接过滤模块、链接去重处理模块、压缩处理模块和序列化处理模块；

所述垃圾链接过滤模块用于根据垃圾链接特征字符串作用于新URL地址，识别新URL地址是否包含垃圾链接特征，如果URL地址包含垃圾链接特征，则判断该URL地址属于垃圾链接，直接过滤掉，否则进行链接去重处理模块的处理；

所述链接去重处理模块用于对垃圾链接特征过滤后的URL地址，先经过密码散列函数进行压缩处理为相同位数，然后被k个不同的哈希函数运算，最终得到k个独立的哈希值，根据该k个独立的哈希值，判断Redis内存数据库中去重字符串中哈希值对应的字符位的数值是否全为1，如果数值全为1，则该URL地址属于重复链接，直接过滤掉；否则，该URL地址不属于重复链接；

所述压缩处理模块用于对链接去重处理模块去重后不属于重复链接的URL地址，进行加密压缩算法处理；

所述序列化处理模块用于将压缩后的URL地址和页面解析函数按照键值对数据格式，进行序列化处理；并将该序列化处理后的URL地址，保存到到Redis内存数据库的URL任务队列中，形成URL任务队列。

7.如权利要求6所述的面向海量数据采集的分布式网络爬虫性能优化系统，其特征在于，所述链接去重处理模块，对于不属于重复链接的URL地址，还将该URL地址所对应的，去重字符串中哈希值对应的字符位不为1的数值全部设置为1。

8.如权利要求6所述的面向海量数据采集的分布式网络爬虫性能优化系统，其特征在于，所述k的值包括5、7、9、11。