[发明专利]互联网数据采集方法及装置

说明书

本发明实施例提供一种互联网数据采集方法及装置。其中，方法包括：接收功能组件的拖拽指令和配置指令，根据拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图；根据有向无环图和各功能组件对应的脚本模板，生成网络爬虫的代码；将网络爬虫的代码发送至客户端，以使得客户端执行网络爬虫的代码，进行互联网数据采集。本发明实施例提供的互联网数据采集方法及装置，通过有向无环图描述互联网数据采集逻辑，通过流程引擎生成网络爬虫的代码，通过客户端执行网络爬虫的代码实现互联网数据采集，不需要进行Python编程，爬虫定义过程无代码、界面更友好，能降低互联网数据采集门槛，能扩大互联网数据采集方法适用范围，更简单、方便。

技术领域

本发明涉及计算机技术领域，更具体地，涉及一种互联网数据采集方法及装置。

背景技术

互联网数据采集，是基于HTTP技术，模拟浏览器请求等操作，采集网络上公开发布的网页、图片等资源，解决人工采集工作量大的问题的技术。常用的互联网数据采集技术包括网络爬虫。

Scrapy网络爬虫框架是一种开源Python网络爬虫框架，封装了一系列用于网络请求、文档解析过程，简化爬虫开发，用于采集网络中非结构化数据。开发过程使用流水线方式，适合进行逻辑编排。

目前，基于Scrapy网络爬虫框架进行互联网数据采集时，需要根据采集任务编写Python脚本，实现Scrapy采集逻辑。现有方法步骤比较复杂，需要专业人员编写Python脚本，门槛较高。

发明内容

本发明实施例提供一种互联网数据采集方法及装置，用以解决或者至少部分地解决现有技术存在的复杂、不方便的缺陷。

第一方面，本发明实施例提供一种互联网数据采集方法，包括：

接收功能组件的拖拽指令和配置指令，根据所述拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图；

根据所述有向无环图和各所述功能组件对应的脚本模板，生成网络爬虫的代码；

将所述网络爬虫的代码发送至客户端，以使得所述客户端执行所述网络爬虫的代码，进行互联网数据采集。

优选地，所述接收功能组件的拖拽指令和配置指令，根据所述拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图的具体步骤包括：

接收所述拖拽指令，根据所述拖拽指令，将功能组件拖拽到画布上，作为节点；

接收连接指令，根据所述连接指令连接相应的节点，获得待配置的有向无环图；

接收所述配置指令，根据所述配置指令，对各所述节点进行配置，获得所述有向无环图。

优选地，所述获得所述有向无环图之后，还包括：

将所述有向无环图保存为XML文件。

优选地，所述根据所述有向无环图和各所述功能组件对应的脚本模板，生成网络爬虫的代码的具体步骤包括：

根据所述有向无环图，获取所述数据采集过程对应的执行计划和各配置参数；

根据所述执行计划、所述各配置参数和各所述功能组件对应的脚本模板，生成网络爬虫的代码。

优选地，所述根据所述有向无环图，获取所述数据采集过程对应的执行计划和各配置参数的具体步骤包括：

对所述XML文件进行解析，获取所述数据采集过程对应的执行计划和各配置参数。

优选地，所述对所述XML文件进行解析的具体步骤包括：

提取所述XML文件中的mxCell元素，将每个所述mxCell元素分别构造为ExecuteNode或Edge对象，得到ExecuteNode集合与Edge集合；