[发明专利]应用于单台多核处理器主机的多线程网络爬虫执行方法

摘要

本发明提出的应用于单台多核处理器主机的多线程网络爬虫执行方法包括步骤S10、创建网页爬取线程、网页分析线程以及URL种子线程；S20、将URL种子载入URL种子缓冲队列；S30、从URL种子缓冲队列中取出URL种子块，遍历URL条目进行网页爬取；S40、将网页内容及其URL封装载入网页缓冲队列；S50、通过查询哈希表进行URL分析，将URL载入待爬取URL列表；S60、待爬取URL列表中元素达到最大值时写入URL缓冲队列；S70、从URL缓冲队列中取出URL列表并重排，封装成URL种子块插入URL种子缓冲队列。本发明可避免额外的线程切换或等待、误判率极低，一定程度上解决了“礼貌”爬取问题。

主权项

一种应用于单台多核处理器主机的多线程网络爬虫执行方法，包括以下步骤：S10、基于主机处理器核数以及线程数量创建网页爬取线程、网页分析线程以及URL种子线程，申请哈希表空间；S20、获取包含URL列表的初始URL种子文件，将所述初始URL种子文件中的URL种子载入URL种子缓冲队列；S30、网页爬取线程从URL种子缓冲队列中取出URL种子块，采用仅遍历URL种子块中URL条目的策略进行网页爬取；S40、当爬取的网页数量达到网页爬取线程设定的最大阈值时，将网页内容和其对应的URL封装并载入网页缓冲队列；S50、网页分析线程每次从网页缓冲队列中取出一个队列元素，并对所述队列元素中每一个网页通过查询哈希表进行URL分析，排除重复出现的URL，将新出现的URL载入待爬取URL列表；S60、当待爬取URL列表中元素达到最大值时写入URL缓冲队列，当一个网页缓冲队列元素中所有网页被分析后，将元素对象插入网页磁盘缓存，由清空网页缓存线程写入磁盘；S70、URL种子生成线程每次从URL缓冲队列中取出URL列表并重排，封装成URL种子块并插入URL种子缓冲队列。