[发明专利]一种基于puppeteer的网站数据收集方法在审
| 申请号： | 201910773517.7 | 申请日： | 2019-08-21 |
| 公开（公告）号： | CN110569414A | 公开（公告）日： | 2019-12-13 |
| 发明（设计）人： | 曹特磊 | 申请（专利权）人： | 时趣互动(北京)科技有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F9/4401;G06F9/54 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 100124 北京市朝阳*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种基于puppeteer的网站数据收集方法，在puppeteer中加载目标网站,通过多个独立数据爬虫子进程进行内部数据抓取,每个数据爬虫子进程包括如下步骤：步骤1，获取数据抓取任务，并对抓取任务加锁；步骤2，使用puppeteer打开目标网站，在预设事件发生后，提取目标数据；步骤3，存储抓取的数据，解锁并标志抓取任务为完成。本发明可以直接拿到渲染后的页面，获取到全部有效信息。可以运行于无视图模式，可以同时运行多个实例，且系统资源占用低，可以分布式部署，整体稳定性和抓取效率都非常高，可以部署在常用的linux系统的服务器上，可以作为service提供抓取的网络服务。 | ||
| 搜索关键词： | 抓取 目标网站 系统资源占用 分布式部署 整体稳定性 独立数据 获取数据 目标数据 内部数据 网络服务 网站数据 有效信息 预设事件 加锁 解锁 页面 服务器 存储 进程 渲染 部署 | ||
【主权项】：
1.一种基于puppeteer的网站数据收集方法，其特征在于，在puppeteer中加载目标网站,通过多个独立数据爬虫子进程进行内部数据抓取,每个数据爬虫子进程包括如下步骤：/n步骤1，获取数据抓取任务，并对抓取任务加锁；/n步骤2，使用puppeteer打开目标网站，在预设事件发生后，提取目标数据；/n步骤3，存储抓取的数据，解锁并标志抓取任务为完成。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于时趣互动(北京)科技有限公司，未经时趣互动(北京)科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910773517.7/，转载请声明来源钻瓜专利网。
