[发明专利]一种网络爬虫实现方法和网络爬虫系统

说明书

技术领域

本发明涉及计算机技术领域，具体涉及一种网络爬虫实现方法和网络爬虫系统。

背景技术

网络爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。网络爬虫一般驻留在服务器上，通过给定的一些URL(UniformResourceLocator，统一资源定位符)，利用HTTP(HyperTextTransferProtocol，超文本传输协议)等标准协议读取相应文档，然后以文档中包括的所有未访问过的URL作为新的起点，继续进行漫游，直到没有满足条件的新URL为止。

然而，由于网络爬虫排除标准协议(RobotsExclusionProtocol)的限制，网站可以通过建立robots.txt文件限制网络爬虫爬取网站的全部或部分数据，行为良好的网络爬虫不应当访问robots.txt中禁止查看的信息。而这样就造成许多可以通过正常访问网页获得的资源无法通过网络爬虫来获得。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的网络爬虫实现方法和网络爬虫系统。

依据本发明的一个方面，提供了一种网络爬虫实现方法，包括：

模拟用户对网页的访问操作发送网页访问请求；

根据网页访问请求对应的反馈内容获得相应的网页内容；

分析获得的网页内容，获得目标信息。

可选地，所述模拟用户对网页的访问操作发送网页访问请求包括：

调用浏览器内核进行访问网页的操作，获得相应的网页内容。

可选地，该方法进一步包括：预先配置网址列表；

所述调用浏览器内核进行访问网页的操作，获得相应的网页内容包括：调用浏览器内核依次访问所述网址列表中的各网址对应的网页，获得相应的网页内容。

可选地，该方法进一步包括：预先配置IP地址列表；

所述调用浏览器内核进行访问网页的操作包括：从所述预设IP地址列表中选择一个IP地址，调用浏览器内核以所选择的IP地址作为访问者地址进行访问网页操作。

可选地，该方法进一步包括：

当接收到拒绝访问网页的反馈消息时，从所述预设IP地址列表中重新选择一个IP地址，调用浏览器内核以重新选择的IP地址作为访问者地址进行访问网页操作。

可选地，所述调用浏览器内核进行访问网页的操作，获得相应的网页内容包括：

调用浏览器内核根据本地的cookie进行访问网页的操作，获得相应的网页内容。

依据本发明的另一方面，提供了一种网络爬虫系统，包括：

网页访问处理单元，适于模拟用户对网页的访问操作发送网页访问请求；根据网页访问请求对应的反馈内容获得相应的网页内容；

分析单元，适于分析获得的网页内容，获得目标信息。

可选地，所述网页访问处理单元包括：

调用单元，适于调用浏览器内核进行访问网页的操作，获得相应的网页内容；

浏览器内核，适于根据调用单元的指令进行访问网页的操作。

可选地，该系统进一步包括：网址配置单元，适于预先配置网址列表；

所述调用单元，适于调用浏览器内核依次访问所述网址列表中的各网址对应的网页，获得相应的网页内容。

可选地，该系统进一步包括：IP地址配置单元，适于预先配置IP地址列表；

所述调用单元，适于从所述预设IP地址列表中选择一个IP地址，调用浏览器内核以所选择的IP地址作为访问者地址进行访问网页操作。

可选地，所述调用单元，适于当接收到拒绝访问网页的反馈消息时，从所述预设IP地址列表中重新选择一个IP地址，调用浏览器内核以重新选择的IP地址作为访问者地址进行访问网页操作。

可选地，所述调用单元，适于调用浏览器内核根据本地的cookie进行访问网页的操作，获得相应的网页内容。

由上述可知，本发明的技术方案，通过模拟用户对网页的访问操作，向网站服务器发送网页访问请求，并获取网站服务器根据该网页访问请求返回的反馈内容，进一步获得相应的网页内容，并从中分析获得相应的网页内容。通过该技术方案实现的网络爬虫并不直接访问网站服务器获取资源，而是通过模拟正常用户的网页访问请求，在客户端如浏览器获取到网页内容，避免了受到网站设置的robots.txt中对网络爬虫获取数据内容的限制，并且获取到的内容也是通过正当途径访问网页获取的，既可以满足用户爬取数据的需求，也不违反网站服务提供方的约束。