[发明专利]一种信息爬取系统

说明书

一种信息爬取系统，所述信息爬取系统包括：多个智能爬取节点，所述智能爬取节点部署在多个拨号虚拟专用服务器上，基于信息爬取时间与信息爬取状态，动态切换所述拨号虚拟专用服务器的IP地址；资源调度系统，所述资源调度系统基于调度算法将待爬取链接分配给所述智能爬取节点以使其执行爬取操作，并从各个智能爬取节点接收爬取结果。通过本发明提供的技术方案，可以建立稳定的爬虫系统，有效应对反爬策略，实现数据的持续获取。

技术领域

本发明涉及网络技术领域，具体地涉及一种信息爬取系统。

背景技术

信息爬取作为网络信息获取的主要手段，存在大量的业务需求。通常情况下，为实现信息的持续、稳定获取，需要建立一个能有效应对反爬策略，且高效稳定运行的爬虫系统。

目前的爬虫系统受限于计算平台、地域等因素，很难有效突破现有的反爬防线。比如传统的开源爬虫工具爬虫Crawler4j、爬虫WebMagic等，都难以规避基于互联网协议(Internet Protocol，简称IP)与地域的反爬取判定，容易被被爬取方迅速锁定。而未开源的厂商系爬虫工具，收费高，且难以适应复杂网络环境下，工业化爬取的高稳定性、高定制与强监控需求。

在此情况下，部分爬虫系统增加了针对反爬的技术模块，以利用代理IP进行信息爬取。然而，由于很难获取真正高质量的大量可用IP地址，又易于被被爬取方(例如，网站方)通过IP回溯的方式锁定IP源，因而爬取效果较差。此外，现有的抓取(Scrapy)应用程序框架的爬虫代理crawlera提供了较高质量的IP地址，但是其收费较高，而且相关IP地址位于国外，访问国内网站的网速较低，也无法与支持Java脚本(Java script，简称JS)渲染的抓取功能(scrapy-splash)有效融合，无法实现动态渲染页面的信息爬取。

如何在复杂的网络环境下实现数据的持续、稳定获取，还需进一步研究。

发明内容

本发明解决的技术问题是如何爬取数据，以有效应对反爬策略，实现数据的稳定获取。

为解决上述技术问题，本发明实施例提供一种信息爬取系统，包括：多个智能爬取节点，所述智能爬取节点部署在多个拨号虚拟专用服务器上，基于信息爬取时间与信息爬取状态，动态切换所述拨号虚拟专用服务器的IP地址；资源调度系统，所述资源调度系统基于调度算法将待爬取链接分配给所述智能爬取节点以使其执行爬取操作，并从各个智能爬取节点接收爬取结果。

可选的，所述智能爬取节点基于部署的拨号虚拟专用服务器的内存容量和爬取到的信息数量，动态打开或关闭网页引擎。

可选的，所述智能爬取节点基于所述网页引擎访问所述待爬取链接，并在所述网页引擎中对所述待爬取链接关联的网页源码进行动态渲染。

可选的，所述爬取结果含有多个待爬取链接，所述信息爬取系统还包括：信息解析与管理系统，适于从所述爬取结果中提取目标信息，并从所述爬取结果中解析所述多个待爬取链接。

可选的，所述信息爬取系统还包括：URL分配系统，适于接收所述信息解析与管理系统发出的所述待爬取链接，并分配给所述资源调度系统。

可选的，所述信息解析与管理系统基于预先配置的目标信息的提取规则，从所述爬取结果中提取所述目标信息。

可选的，所述待爬取链接包括不具有内嵌链接的待爬取链接与具有内嵌连接的待爬取链接，所述资源调度系统适于优先将所述不具有内嵌链接的待爬取链接作为所述待爬取链接，并分配给所述智能爬取节点。

可选的，所述资源调度系统适于将所述待爬取链接加入候选链接集合，并对所述候选链接集合中的各个链接进行去重处理。

可选的，所述资源调度系统基于BerkeleyDB持续存储技术，对所述候选链接集合中的各个链接进行去重处理。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：