[发明专利]一种网络数据定向分页式采集方法

权利要求书

1.一种网络数据定向分页式采集方法，其特征在于，其实现步骤为：截取分页参数拼接出指定页面的访问地址URL，并利用该访问地址直接发送请求以获取目标页面返回的响应数据。

2.根据权利要求1所述的一种网络数据定向分页式采集方法，其特征在于，所述的分页参数通过正整数赋值的方式指定访问页码数。

3.根据权利要求2所述的一种网络数据定向分页式采集方法，其特征在于，所述方法的具体实现过程为：

获取默认URL：通过搜索引擎访问目标信息列表页，获取目标页面的默认访问地址URL；

截取分页参数；

拼接指定URL：以目标页面默认URL拼接以正整数赋值的分页参数，正整数的值即为指定页面的页数；

验证指定URL：在浏览器地址栏中输入拼接好的目标页面指定URL并访问，已验证能否获取到响应的数据信息；

数据采集：利用拼接指定URL的方式，从信息列表第一页至总页数循环访问全网数据，逐页采集数据信息。

4.根据权利要求3所述的一种网络数据定向分页式采集方法，其特征在于，所述截取分页参数的实现方式包括以下两种：

一、在浏览器中进行页面跳转操作，通过抓包软件，截获跳转过程中的传参，找出与分页相关的参数名称；

二、在浏览器中进入开发者模式或者右键查看页面源代码，从中搜索出与分页相关的参数名称。