[发明专利]一种网络爬虫抓取数据的优化方法在审
| 申请号： | 201811391944.0 | 申请日： | 2018-11-21 |
| 公开（公告）号： | CN109299392A | 公开（公告）日： | 2019-02-01 |
| 发明（设计）人： | 胡翔 | 申请（专利权）人： | 安徽云融信息技术有限公司 |
| 主分类号： | G06F16/9535 | 分类号： | G06F16/9535;G06F16/955 |
| 代理公司： | 上海精晟知识产权代理有限公司 31253 | 代理人： | 冯子玲 |
| 地址： | 230000 安徽省合肥市高新区*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种网络爬虫抓取数据的优化方法，涉及网络数据传输领域。本发明包括如下步骤：步骤S01：建立高质量模板资源库及模板匹配算法；步骤S02：通过深度优先遍历策略及反向链接数策略筛选符合目标数据URL，建立初级URL队列；步骤S03：将初级URL队列数据通过宽度优先算法策略抓取相应目标网站数据；步骤S04：根据模板匹配算法，将目标数据同模板存储资源库中的模板数据进行匹配；步骤S05：匹配成功的模板数据存储至资源库。本发明通过深度优化遍历策略和反向链接数策略建立初级URL队列，利用模板匹配算法将模板库中的模板与抓取的数据进行匹配，提高了网络爬虫抓取数据的精确性和效率，避免了无效数据冗余和存储资源浪费。 | ||
| 搜索关键词： | 抓取 模板匹配算法 网络爬虫 资源库 反向链接 目标数据 匹配 模板数据存储 深度优先遍历 网络数据传输 策略建立 存储资源 宽度优先 模板存储 模板数据 目标网站 匹配成功 深度优化 数据通过 算法策略 无效数据 质量模板 模板库 冗余 遍历 优化 筛选 | ||
【主权项】：
1.一种网络爬虫抓取数据的优化方法，其特征在于，包括如下步骤：步骤S01：建立高质量模板资源库及模板匹配算法；步骤S02：通过深度优先遍历策略及反向链接数策略筛选符合目标数据URL，建立初级URL队列；步骤S03：将初级URL队列数据通过宽度优先算法策略抓取相应目标网站数据；步骤S04：根据模板匹配算法，将目标数据同模板存储资源库中的模板数据进行匹配；步骤S05：匹配成功的模板数据存储至资源库。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于安徽云融信息技术有限公司，未经安徽云融信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811391944.0/，转载请声明来源钻瓜专利网。
