[发明专利]一种信息采集方法和装置在审
| 申请号： | 201910717510.3 | 申请日： | 2019-08-05 |
| 公开（公告）号： | CN110489626A | 公开（公告）日： | 2019-11-22 |
| 发明（设计）人： | 袁学文 | 申请（专利权）人： | 苏州闻道网络科技股份有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;H04L29/06 |
| 代理公司： | 11277 北京林达刘知识产权代理事务所(普通合伙) | 代理人： | 刘新宇<国际申请>=<国际公布>=<进入 |
| 地址： | 215000 江苏省苏州市工业*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开涉及一种信息采集方法和装置。包括：获取关于目标网站的采集参数；根据预设规则更新所述采集参数，所述预设规则根据多个网站的反爬虫规则生成；将更新后的采集参数分别发送至多个采集终端，并接收由所述采集终端解析的网页内容，得到目标网页内容。本公开通过获取不同网站的反爬虫策略，预先制定相应的规则，并且根据预设规则，更新关于目标网站的采集参数，本公开实现的有益效果是操作简易，用户端不需要进行大量的参数配置，可以持续的访问目标网站，不受反爬虫技术的影响，采集效率高。 | ||
| 搜索关键词： | 采集参数 预设规则 爬虫 采集终端 目标网站 更新 访问目标网站 方法和装置 参数配置 多个网站 规则生成 目标网页 爬虫技术 网页内容 信息采集 用户端 网站 解析 简易 采集 发送 制定 | ||
【主权项】：
1.一种信息采集方法，其特征在于，包括：/n获取关于目标网站的采集参数；/n根据预设规则更新所述采集参数，所述预设规则根据多个网站的反爬虫规则生成；/n将更新后的采集参数分别发送至多个采集终端，并接收由所述采集终端解析的网页内容，得到目标网页内容。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于苏州闻道网络科技股份有限公司，未经苏州闻道网络科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910717510.3/，转载请声明来源钻瓜专利网。
- 上一篇：一种网页数据采集模板的生成方法和装置
- 下一篇：一种互联网爬虫路由方法
