[发明专利]新闻资讯抓取方法、装置、电子设备及存储介质在审
| 申请号： | 202110432611.3 | 申请日： | 2021-04-21 |
| 公开（公告）号： | CN113065055A | 公开（公告）日： | 2021-07-02 |
| 发明（设计）人： | 郑德生 | 申请（专利权）人： | 平安国际智慧城市科技股份有限公司 |
| 主分类号： | G06F16/953 | 分类号： | G06F16/953;G06F16/955 |
| 代理公司： | 深圳市赛恩倍吉知识产权代理有限公司 44334 | 代理人： | 杨毅玲;刘丽华 |
| 地址： | 518000 广东省深圳市前海深港合*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及大数据技术领域，提供一种新闻资讯抓取方法、装置、电子设备及存储介质，所述方法包括：获取多个种子URL生成目标新闻资讯抓取树；启动主线程读取目标新闻资讯抓取树中每个抓取节点的目标种子URL及对应的抓取策略；在读取了预设数量的目标种子URL时，启动多个子线程，将预设数量的目标种子URL分给多个子线程；控制每个子线程使用Puppeteer打开每个目标种子URL进行抓取处理；通过主线程对多个子线程的抓取结果进行统计得到目标新闻资讯的目标抓取结果。本发明通过使用Puppeteer启动无头浏览器打开每个目标种子URL，并启动多个子线程进行抓取处理，减少了真实浏览器的渲染工作，提高了目标新闻资讯的抓取效率。 | ||
| 搜索关键词： | 新闻资讯 抓取 方法 装置 电子设备 存储 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于平安国际智慧城市科技股份有限公司，未经平安国际智慧城市科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110432611.3/，转载请声明来源钻瓜专利网。
- 上一篇：一种烟包拦截装置及方法
- 下一篇：防吸空液控系统及作业机械
