[发明专利]一种基于无界面浏览器和可配置代理拦截的网页抓取系统及抓取方法在审
| 申请号： | 201811019215.2 | 申请日： | 2018-09-03 |
| 公开（公告）号： | CN109446392A | 公开（公告）日： | 2019-03-08 |
| 发明（设计）人： | 朱静轩;刘国庆;章文友;孟彦 | 申请（专利权）人： | 中新网络信息安全股份有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951 |
| 代理公司： | 上海精晟知识产权代理有限公司 31253 | 代理人： | 冯子玲 |
| 地址： | 230088 安徽省合肥*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及互联网网页抓取技术领域，具体涉及一种基于无界面浏览器和可配置代理拦截的网页抓取系统，包括无界面浏览器启动模块、页面下载模块、内容选择模块。本发明还公开了一种抓取方法，包括无界面浏览器启动模块启动无界面浏览器，并指定无界面浏览器的网址、代理参数、网站参数、选择无界面浏览器网址页面链接标签，并加入至页面下载模块中、页面下载模块拦截浏览器的页面返回结果，并保存、内容选择模块配置页面的内容选择规则、内容选择模块根据内容选择规则选取指定区域内容的数据。本发明通过无界面浏览器渲染网页技术，将服务器返回的动静态页面生成纯HTML静态页面，根据内容选择模块限定的规则，抓取网页的数据。 | ||
| 搜索关键词： | 界面浏览器 内容选择 抓取 页面下载 启动模块 网页抓取 拦截 可配置 网址 静态页面生成 互联网网页 代理参数 规则选取 模块配置 模块限定 区域内容 网页技术 网站参数 页面返回 页面链接 浏览器 代理 服务器 标签 网页 渲染 保存 返回 | ||
【主权项】：
1.一种基于无界面浏览器和可配置代理拦截的网页抓取系统，其特征在于，包括：无界面浏览器启动模块，所述无界面浏览器启动模块用于启动无界面浏览器；页面下载模块，所述页面下载模块用于将待拦截网页的页面标签加入其内；内容选择模块，所述内容选择模块用于配置待拦截网页的内容选择规则，并根据所述内容选择规则选取待拦截网页的数据，且将所述数据缓存至缓存区。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中新网络信息安全股份有限公司，未经中新网络信息安全股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811019215.2/，转载请声明来源钻瓜专利网。
