[发明专利]一种网站网页源代码自动爬取方法

说明书

本发明涉及一种网站网页源代码自动爬取方法，在确定好的网站中爬取网页，使得爬取的网页比较集中，有着比较明显的共同特性，方便在编写爬虫程序爬取网页。而且在特定的网站爬取网页，使得要爬取的目标信息比较集中，能够完整得快速得爬取到所需要的信息。在爬取网站网页源代码上，能够有效得伪装成浏览器发出的网页请求，防止被网站识别为机器代码在爬取网站数据。通过设置一定的等待时间，使得当网站或者网络出现异常情况而未对爬虫程序做出反应时代码报错停止运行，能够长时间自动得运行代码爬取网页源代码。通过添加代理IP地址数据库，能够有效地防止当爬虫代码被封锁IP拒绝访问网站时，程序还能自动更换IP继续爬取网页源代码。

技术领域

本发明涉及网络爬虫的技术领域，尤其涉及到一种网站网页源代码自动爬取方法。

背景技术

随着互联网技术的快速发展，网络上的信息数据呈爆炸式增长。这使得在网络上查找到我们需要的信息数据越来越困难。如何对这些多样性、实时性数据进行统计分析从而获得数据背后的有价值信息显得十分有意义。正是在这样的背景之下，最近几年大数据技术迅速发展，在各行各业的应用越来越广泛。要利用大量数据分析信息，如何获取网络上的数据并进行存储就显得尤其重要。

当前人们在查找一些数据的时候，大部分是通过搜索引擎搜索然后在网站上直接浏览获得。虽然这种方法比较简单方便，但当数据量庞大而且需要存储下来的时候，这种方法就需要耗费大量的时间并且往往无法从这些数据中分析获得我们需要的信息。

当数据量较为巨大时，目前所使用的技术方案是利用网络爬虫来爬取网页源代码，再从中提取我们需要的数据。网络爬虫是一种自动提取网页的程序，主要有通用网络爬虫和聚焦网络爬虫。例如申请号为CN201410021505.6的中国发明专利，其申请公开一种数据获取方法。其数据获取过程分为以下几个步骤：初始数据分析及分词操作，得到关键词；使用所述关键词进行搜索，得到网站的页面；对所述网站的页面进行信息爬取，根据所述网站的页面的源文件与正进行正则匹配，得到匹配则表达式结果；根据所述关键词或者与标签库进行比对，分别将所述匹配结果中的信息放置于对应的视频属性库的对应字段中去；进行数据分析，根据所述网站的页面的权重和信息重复量来进行数据计算；对于自动填写的内容进行编辑确认和加工。又例如申请号为CN201310198598.5的中国发明专利，其申请公开一种网页爬取方法及系统，该方法包括对样本网页进行训练得到数据提取条件；爬取web网页；将爬取到的web网页解析成dom树结构，得到web网页dom树，根据所述数据提取条件对所述web网页dom树进行分析，提取所需数据。

上述现有的技术方案中，利用搜索引擎搜索获得的网站数据，由于网络数据量庞大，无法短时间内获得目标数据。而且当目标数据量也十分巨大时，利用搜索引擎来搜索数据然后一个个查找下载无疑会耗费大量的时间，并且靠人眼的查看难免会漏掉一些数据。而利用网络爬虫来爬取网页源代码从而提取数据，确实会快速准确得获取到目标数据，但是现有的技术方案中并未对爬取网页源代码进一步做说明。而我们在爬取网页的时候，由于网站服务器会设置反爬虫，会直接拒绝那些明显是由自动化程序发起的请求。在反爬虫里面最常用的手段就是判断该请求是否由浏览器发出，是否请求频率过快，在短时间内发送大量的请求。这些手段往往造成我们无法顺利得爬取网站的网页源代码。

因此，如何使爬虫代码能够在短时间内高频率的爬取网页源代码，从中提取有价值的信息的问题亟待解决。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能够避免被网站识别为自动机器代码、能够长时间自动地运行代码爬取网页源代码、当爬虫代码被封锁IP拒绝访问网站时还能继续爬取网页源代码的网站网页源代码自动爬取方法。

为实现上述目的，本发明所提供的技术方案为：

包括以下步骤：

S1、确定含有目标信息的网站，分析该网站确定目标信息所在的网页，以及该些含有目标信息网页特有的共同特点；