[发明专利]一种基于Jxbrowser的网页采集技术

说明书

本发明公开了一种基于Jxbrowser的网页采集技术，步骤1：数据初始化；步骤2：保存路径；步骤3：代理ip地址和端口；步骤4：加载数据完成初始化；步骤5：资源定位；步骤6：获取内容；步骤7：完成采集。本发明可实现如下技术效果，可实现了对动态网页的采集，可实现了对加密网页的采集，采集效率比同类的技术效率大幅度提升，支持通过代理ip访问网页地址。

技术领域

本发明涉及计算机网络技术领域，确切地说是一种基于Jxbrowser的网页采集技术。

背景技术

随着互联网和自媒体信息的快速发展，互联网技术存在多样性和复杂性，网页的实现技术从开始的静态网页到动态网页，从原文传输到加密传输，从通过cookie控制请求到前端秘钥加密验证；这些技术带来的变革，造成数据采集的工作越来越难、成本越来越高。

目前相似的网页采集技术，存在动态网页无法有效渲染、加密数据无法正常采集、采集效率低等情况，导致互联网采集的工作质量降低，造成了信息出现大范围的漏采；给相关的业务系统带来了极大的困扰。

发明内容

本发明要解决的技术问题是爬虫技术采集全和准确率的问题，动态网页无法有效渲染、加密数据无法正常采集、采集效率低等情况，导致互联网采集的工作质量降低，造成了信息出现大范围的漏采；给相关的业务系统带来了极大的困扰。

为解决上述技术问题，本发明采用如下技术手段：

一种基于Jxbrowser的网页采集技术，其特征在于网页采集步骤如下：

步骤1：数据初始化：通过jxbrowser，对实例对象完成数据的初始化；

步骤2：保存路径：将初始数据通过BrowserContextParams，设置实例对象的网页缓存保存路径；

步骤3：代理ip地址和端口：通过ContextParams,设置代理ip地址和端口；

步骤4：加载数据完成初始化：利用函数GetBrowserContext，加载数据，将加载后的数据利用InitBrowser，完成对实例对象的所有初始化操作；

步骤5：资源定位：通过LoadURL，实现对目标URL的请求；

步骤6：获取内容：待网页下载完成，获取html内容；

步骤7：完成采集：将网页内容发送到kafka，完成网页采集。

本发明的保护点：代理IP的设置方法；判定网页是否加载完成的方法；动态网页和加密网页正常解析的方法。

作为优选，本发明更进一步的技术方案是：

所述的加载数据，分别加载保存路径、代理ip地址和端口步骤所取得的数据。

本发明可实现如下技术效果，可实现了对动态网页的采集，可实现了对加密网页的采集，采集效率比同类的技术效率大幅度提升，支持通过代理ip访问网页地址。

附图说明

图1为本发明的实现步骤结构框图。

具体实施方式

下面结合实施例，进一步说明本发明。

参见图1可知，本发明一种基于Jxbrowser的网页采集技术，其特征在于网页采集步骤如下：

步骤1：数据初始化：通过jxbrowser，对实例对象完成数据的初始化；

步骤2：保存路径：将初始数据通过BrowserContextParams，设置实例对象的网页缓存保存路径；