[发明专利]一种基于浏览器扩展的数据抓取方法及系统在审
申请号: | 201810495217.2 | 申请日: | 2018-05-22 |
公开(公告)号: | CN108932285A | 公开(公告)日: | 2018-12-04 |
发明(设计)人: | 何泾沙;于聪;杨镇宁;王亚芹;段梦园;杜晋辉;葛加可 | 申请(专利权)人: | 北京工业大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 王莹;吴欢燕 |
地址: | 100022 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 浏览器 扩展插件 网页地址 预设 目标网页地址 目标数据 配置文件 数据抓取 预设规则 网页 抓取 模拟浏览器 可扩展性 匹配成功 特性开发 用户使用 整体开发 可扩展 解析 匹配 页面 数据库 | ||
1.一种基于浏览器扩展的数据抓取方法,其特征在于,包括:
获取浏览器中当前网页对应的当前网页地址,将所述当前网页地址与预设配置文件中的目标网页地址进行匹配,所述预设配置文件中包含至少一个目标网页地址;
当匹配成功时,从预设数据库中获取所述当前网页地址对应的预设规则,根据所述预设规则从所述当前网页中抓取目标数据。
2.根据权利要求1所述的方法,其特征在于,所述将所述当前网页地址与预设配置文件中的目标网页地址进行匹配,之前还包括:
根据用户需求获取所有所述目标网页地址,将所有所述目标网页地址配置在所述预设配置文件中。
3.根据权利要求1所述的方法,其特征在于,所述从预设数据库中获取所述当前网页地址对应的预设规则,之前还包括:
根据用户需求配置每个所述目标网页地址对应的预设规则,将每个所述目标网页地址与对应的预设规则关联存储在所述预设数据库中。
4.根据权利要求1所述的方法,其特征在于,所述从预设数据库中获取所述当前网页地址对应的预设规则,之前还包括:
向所述当前网页发送数据抓取请求,以使得用户对所述数据抓取请求进行确认;
相应地,当接收到用户的确认操作时,从预设数据库中获取所述当前网页地址对应的预设规则,根据所述预设规则从所述当前网页中抓取目标数据。
5.根据权利要求1所述的方法,其特征在于,所述根据所述预设规则从所述当前网页中抓取目标数据,之后还包括:
当接收到用户的页面跳转请求时,根据所述预设规则从所述当前网页的下一网页中抓取所述目标数据。
6.根据权利要求1所述的方法,其特征在于,所述根据所述预设规则从所述当前网页中抓取目标数据,之后还包括:
若达到预设时间间隔,则关闭所述当前网页。
7.根据权利要求1所述的方法,其特征在于,所述根据所述预设规则从所述当前网页中抓取目标数据,之后还包括:
将所述目标数据发送给预设服务器,以使得所述预设服务器对所述目标数据进行整理并将所述目标数据中的重复数据进行删除。
8.一种基于浏览器扩展的数据抓取系统,其特征在于,包括:
网址匹配模块,用于获取浏览器中当前网页对应的当前网页地址,将所述当前网页地址与预设配置文件中的目标网页地址进行匹配,所述预设配置文件中包含至少一个目标网页地址;
数据抓取模块,用于当匹配成功时,从预设数据库中获取所述当前网页地址对应的预设规则,根据所述预设规则从所述当前网页中抓取目标数据。
9.一种基于浏览器扩展的数据抓取方法的设备,其特征在于,包括:
至少一个处理器;以及
与所述处理器通信连接的至少一个存储器,其中:
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京工业大学,未经北京工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810495217.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:通用逻辑调度方法、电子设备及可读存储介质
- 下一篇:一种数据查询方法及装置