[发明专利]一种利用云端进行并发采集的爬虫实现方法

摘要

本发明公开了一种利用云端进行并发采集的爬虫实现方法，包括爬虫端和若干云节点服务端，爬虫端能够定时检查云端的状态，并选择云端进行任务发送；根据云端状态进行实时配置同步；根据云端已下载网页数，择机进行网页收取；通过本地缓存和数据实现异常容错处理，保证网页不丢失。该利用云端进行并发采集的爬虫实现方法与现有技术相比，通过爬虫端批次发送下载任务、批次收取下载网页，提高了传输效率，将爬虫和云端交互带来的影响降到最低。通过本地和数据库记录下载信息，实现了下载内容的异常容错处理和事物控制，保证下载任务被执行，减少传统爬虫中容易出现的网页丢失情况。

主权项

一种利用云端进行并发采集的爬虫实现方法，其特征在于，包括爬虫端和若干云节点服务端，其实现过程为：1）爬虫端通过云节点服务端进行采集，爬虫端将采集任务批次发送到云节点服务端，通过校验、请求处理实现云节点服务端任务分发；2）云节点服务端进行状态检测，实时检测云节点服务端的可用状态以及任务队列和下载队列排队情况，并根据云节点服务端情况选择是否发送任务或者是否立刻收取网页；3）爬虫端将本地数据库的配置同步至云节点服务端；4）云节点服务端网页收取，爬虫端向云节点服务端请求已经下载的页面，云节点服务端批量返回已经下载的页面；5）爬虫端实现下载任务的异常容错处理和事物控制，通过本地缓存和数据实现异常容错处理，保证网页不丢失。