[发明专利]一种网络爬虫抓取数据的优化方法

说明书

本发明公开了一种网络爬虫抓取数据的优化方法，涉及网络数据传输领域。本发明包括如下步骤：步骤S01：建立高质量模板资源库及模板匹配算法；步骤S02：通过深度优先遍历策略及反向链接数策略筛选符合目标数据URL，建立初级URL队列；步骤S03：将初级URL队列数据通过宽度优先算法策略抓取相应目标网站数据；步骤S04：根据模板匹配算法，将目标数据同模板存储资源库中的模板数据进行匹配；步骤S05：匹配成功的模板数据存储至资源库。本发明通过深度优化遍历策略和反向链接数策略建立初级URL队列，利用模板匹配算法将模板库中的模板与抓取的数据进行匹配，提高了网络爬虫抓取数据的精确性和效率，避免了无效数据冗余和存储资源浪费。

技术领域

本发明属于网络数据传输领域，特别是涉及一种网络爬虫抓取数据的优化方法。

背景技术

随着互联网的发展，互联网中包含的信息内容越来越多，搜索引擎可以帮助人们在海量信息中寻找自己感兴趣的内容，一般的搜索引擎，如百度、Google和Bing等，都是面向所有用户提供互联网内容搜索服务。这些搜索引擎需要通过爬虫技术不断地从互联网上获取信息，并将这些信息保存起来，以便人们方便地检索这些信息。由于需要爬取的数据量巨大，因此大规模的搜索引擎往往采取分布式处理机制，即建立分布式爬虫服务系统。这些爬虫从统一的下载队列中获取目标URL，然后将目标网页下载存储到指定的位置。

搜索引擎越来越多，这些搜索引擎的爬虫不断地获取网站的内容，网站系统的压力越来越大，1994年6月30日，在经过搜索引擎人员以及被搜索引擎抓取的网站站长共同讨论后，正式发布了一份行业规范，即Robots协议。Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(RobotsExclusionProtocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

因此，如今网络爬虫存在如下缺点：

1、大量重复URL被解析出来反馈给调度中心，给调度中心URL去重模块带来了很大的压力，而且大量重复的URL回传花费了不少不必要的网络流量，降低了爬虫系统的工作效率；

2、网页被抓取后回传给数据仓库，然后在页面解析时再进行分析，而此过程中大量没有更新的网页也在其中，给爬虫系统浪费了很多时间和流量。

发明内容

本发明的目的在于提供一种网络爬虫抓取数据的优化方法，通过深度优化遍历策略和反向链接数策略建立初级URL队列，利用模板匹配算法将模板库中的模板与抓取的数据进行匹配，解决了现有的网络爬虫抓取数据的精确性及效率不足和系统工作效率低的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种网络爬虫抓取数据的优化方法，包括如下步骤：

步骤S01：建立高质量模板资源库及模板匹配算法；

步骤S02：通过深度优先遍历策略及反向链接数策略筛选符合目标数据URL，建立初级URL队列；

步骤S03：将初级URL队列数据通过宽度优先算法策略抓取相应目标网站数据；

步骤S04：根据模板匹配算法，将目标数据同模板存储资源库中的模板数据进行匹配；

步骤S05：匹配成功的模板数据存储至资源库。

优选地，所述步骤S02中，深度优先遍历策略用以提取下载网页中的连接，并插入待抓取URL队列的末尾。

优选地，所述步骤S02中，反向链接数策略用以获取下载网页中其他网页链接的数量，根据网页链接数量的由高到低排列至页面待抓取队列。

优选地，所述下载网页提取的信息包括:目标URL、页面类型、下载页面保存路径、动态页面延迟加载所使用的JavaScript函数名、页面分析类型。