[发明专利]网页数据爬取方法及系统

摘要

本申请公开了一种网页数据爬取方法和系统。该方法包括：根据前端发布的爬虫任务，调用部署于服务端本地的爬虫服务发布下载报文，以由客户端根据所述下载报文得到响应结果；根据所述客户端反馈的所述响应结果，通过所述爬虫服务对所述响应结果进行解析，得到所述网页数据。该方法中，客户端负责根据下载报文向目标站点发起网页请求，获取响应结果，并将响应结果反馈给服务端，由服务端负责执行爬虫脚本，根据响应结果爬取网页数据，不需要将爬虫脚本转换为客户端运行环境下特定软件开发工具包的脚本，也不需要在客户端部署爬虫运行的环境，由此因而降低了爬虫服务对客户端执行环境的依赖。