[发明专利]一种网站网页源代码自动爬取方法

摘要

本发明涉及一种网站网页源代码自动爬取方法，在确定好的网站中爬取网页，使得爬取的网页比较集中，有着比较明显的共同特性，方便在编写爬虫程序爬取网页。而且在特定的网站爬取网页，使得要爬取的目标信息比较集中，能够完整得快速得爬取到所需要的信息。在爬取网站网页源代码上，能够有效得伪装成浏览器发出的网页请求，防止被网站识别为机器代码在爬取网站数据。通过设置一定的等待时间，使得当网站或者网络出现异常情况而未对爬虫程序做出反应时代码报错停止运行，能够长时间自动得运行代码爬取网页源代码。通过添加代理IP地址数据库，能够有效地防止当爬虫代码被封锁IP拒绝访问网站时，程序还能自动更换IP继续爬取网页源代码。

主权项

1.一种网站网页源代码自动爬取方法，其特征在于，包括以下步骤：S1、确定含有目标信息的网站，分析该网站确定目标信息所在的网页，以及该些含有目标信息网页特有的共同特点；S2、加载爬取的初始网页以及该网页的URL；S3、加载要爬取网页的共同特点；S4、爬取初始网页的源代码，并检查是否存在含有目标信息的网页的URL，若不存在即结束爬取程序，若存在即逐一爬取含有目标信息的网页源代码，直到所有包含目标信息的网页爬取完毕；S5、将爬取到的目标源代码保存在指定位置的指定文件夹中，方便后期提取目标信息。