[发明专利]一种网络爬虫抓取数据的优化方法在审
| 申请号： | 201811391944.0 | 申请日： | 2018-11-21 |
| 公开（公告）号： | CN109299392A | 公开（公告）日： | 2019-02-01 |
| 发明（设计）人： | 胡翔 | 申请（专利权）人： | 安徽云融信息技术有限公司 |
| 主分类号： | G06F16/9535 | 分类号： | G06F16/9535;G06F16/955 |
| 代理公司： | 上海精晟知识产权代理有限公司 31253 | 代理人： | 冯子玲 |
| 地址： | 230000 安徽省合肥市高新区*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 抓取 模板匹配算法 网络爬虫 资源库 反向链接 目标数据 匹配 模板数据存储 深度优先遍历 网络数据传输 策略建立 存储资源 宽度优先 模板存储 模板数据 目标网站 匹配成功 深度优化 数据通过 算法策略 无效数据 质量模板 模板库 冗余 遍历 优化 筛选 | ||
1.一种网络爬虫抓取数据的优化方法，其特征在于，包括如下步骤：
步骤S01：建立高质量模板资源库及模板匹配算法；
步骤S02：通过深度优先遍历策略及反向链接数策略筛选符合目标数据URL，建立初级URL队列；
步骤S03：将初级URL队列数据通过宽度优先算法策略抓取相应目标网站数据；
步骤S04：根据模板匹配算法，将目标数据同模板存储资源库中的模板数据进行匹配；
步骤S05：匹配成功的模板数据存储至资源库。
2.根据权利要求1所述的一种网络爬虫抓取数据的优化方法，其特征在于，所述步骤S02中，深度优先遍历策略用以提取下载网页中的连接，并插入待抓取URL队列的末尾。
3.根据权利要求1所述的一种网络爬虫抓取数据的优化方法，其特征在于，所述步骤S02中，反向链接数策略用以获取下载网页中其他网页链接的数量，根据网页链接数量的由高到低排列至页面待抓取队列。
4.根据权利要求2所述的一种网络爬虫抓取数据的优化方法，其特征在于，所述下载网页提取的信息包括:目标URL、页面类型、下载页面保存路径、动态页面延迟加载所使用的JavaScript函数名、页面分析类型。
5.根据权利要求1所述的一种网络爬虫抓取数据的优化方法，其特征在于，所述步骤S04中，模板匹配算法通过过滤器将抓取的目标数据与资源库中的模板进行比对去重，过滤器中建立有一白名单模块，白名单对不确定URL地址进行存储。
6.根据权利要求1所述的一种网络爬虫抓取数据的优化方法，其特征在于，所述步骤S05中，资源库采用HDFS的分布式储存方式。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于安徽云融信息技术有限公司，未经安徽云融信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201811391944.0/1.html，转载请声明来源钻瓜专利网。
