[发明专利]一种基于区块链系统的爬虫技术有效
申请号: | 201910249936.0 | 申请日: | 2019-03-29 |
公开(公告)号: | CN109981657B | 公开(公告)日: | 2021-09-17 |
发明(设计)人: | 梅一多;孙昊;马敬东;朱晓庆 | 申请(专利权)人: | 浙江数值跳跃网络科技有限公司 |
主分类号: | H04L29/06 | 分类号: | H04L29/06;H04L29/08;G06F16/953;G06F16/951 |
代理公司: | 南京业腾知识产权代理事务所(特殊普通合伙) 32321 | 代理人: | 李静 |
地址: | 313200 浙江省湖州市德清县*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 区块 系统 爬虫 技术 | ||
1.一种基于区块链系统的爬虫技术,其特征在于:所述爬虫技术步骤如下:
步骤1:在区块链网络中,在现有节点之上,增加了公钥开放节点;
步骤2:当区块链系统中的节点启动后,根据自身启动配置,访问附近的公钥开放节点,向其进行公钥信息注册;
步骤3:当爬虫启动之后,先寻找附近公钥开放节点,并下载缓存公钥开放节点信息,即线索信息;
步骤4:根据线索信息进行数据爬取,每次针对于选择的节点的区块体中信息,都需采用公钥对数据进行解密,完成解密之后,再进行数据检索确认,如是所需信息,则将该节点的该区块作为线索信息进行缓存,同时将数据信息的存储地址进行保存;
步骤5:系统中爬虫对于节点的爬取采用泛洪算法来进行处理,并设置TTL相应值,当根据线索信息进行深入爬取时,如果超过TTL设定值的话,就终止该线索的爬取。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江数值跳跃网络科技有限公司,未经浙江数值跳跃网络科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910249936.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于CDN节点日志的CC防护方法
- 下一篇:一种新型防干扰的数据保护系统