[发明专利]一种网站网页源代码自动爬取方法

权利要求书

1.一种网站网页源代码自动爬取方法，其特征在于，包括以下步骤：

S1、确定含有目标信息的网站，分析该网站确定目标信息所在的网页，以及该些含有目标信息网页特有的共同特点；

S2、加载爬取的初始网页以及该网页的URL；

S3、加载要爬取网页的共同特点；

S4、爬取初始网页的源代码，并检查是否存在含有目标信息的网页的URL，若不存在即结束爬取程序，若存在即逐一爬取含有目标信息的网页源代码，直到所有包含目标信息的网页爬取完毕；

S5、将爬取到的目标源代码保存在指定位置的指定文件夹中，方便后期提取目标信息。

2.根据权利要求1所述的一种网站网页源代码自动爬取方法，其特征在于，所述步骤S4爬取网页源代码时，将爬虫程序伪装成电脑浏览器向网站服务器发送网页请求，避免爬虫程序被网站识别为机器代码而拒绝访问。

3.根据权利要求2所述的一种网站网页源代码自动爬取方法，其特征在于，所述在利用爬虫程序向网站服务器发送网页请求时，修改发送报文的请求头，修改参考浏览器中向网站发送请求时使用的请求头的参数，使得爬虫代码的请求更像是浏览器的访问；浏览器向网站发送的网页请求报文的各个参数通过开发工具查找。

4.根据权利要求2所述的一种网站网页源代码自动爬取方法，其特征在于，所述爬虫程序伪装成电脑浏览器每次向网站服务器发送网页请求时，均会监测发出的网页请求是否得到回应，若第一次请求未得到回应，则进入等待时间，等待时间结束后再一次发出网页请求；若连续5次发出网页请求均未得到回应，则更换代理IP，更换代理IP后继续发送网页请求。

5.根据权利要求4所述的一种网站网页源代码自动爬取方法，其特征在于，所述代理IP利用爬虫从代理IP网站爬取所得，且该爬取到的代理IP进行检测确认可用后写入数据库；当需要更换爬虫程序的IP时，则从数据库中获取可用的IP写入爬虫程序的IP参数中。