[发明专利]互联网数据采集方法及装置

权利要求书

1.一种互联网数据采集方法，其特征在于，包括：

接收功能组件的拖拽指令和配置指令，根据所述拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图；

根据所述有向无环图和各所述功能组件对应的脚本模板，生成网络爬虫的代码；

将所述网络爬虫的代码发送至客户端，以使得所述客户端执行所述网络爬虫的代码，进行互联网数据采集。

2.根据权利要求1所述的互联网数据采集方法，其特征在于，所述接收功能组件的拖拽指令和配置指令，根据所述拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图的具体步骤包括：

接收所述拖拽指令，根据所述拖拽指令，将功能组件拖拽到画布上，作为节点；

接收连接指令，根据所述连接指令连接相应的节点，获得待配置的有向无环图；

接收所述配置指令，根据所述配置指令，对各所述节点进行配置，获得所述有向无环图。

3.根据权利要求2所述的互联网数据采集方法，其特征在于，所述获得所述有向无环图之后，还包括：

将所述有向无环图保存为XML文件。

4.根据权利要求3所述的互联网数据采集方法，其特征在于，所述根据所述有向无环图和各所述功能组件对应的脚本模板，生成网络爬虫的代码的具体步骤包括：

根据所述有向无环图，获取所述数据采集过程对应的执行计划和各配置参数；

根据所述执行计划、所述各配置参数和各所述功能组件对应的脚本模板，生成网络爬虫的代码。

5.根据权利要求4所述的互联网数据采集方法，其特征在于，所述根据所述有向无环图，获取所述数据采集过程对应的执行计划和各配置参数的具体步骤包括：

对所述XML文件进行解析，获取所述数据采集过程对应的执行计划和各配置参数。

6.根据权利要求5所述的互联网数据采集方法，其特征在于，所述对所述XML文件进行解析的具体步骤包括：

提取所述XML文件中的mxCell元素，将每个所述mxCell元素分别构造为ExecuteNode或Edge对象，得到ExecuteNode集合与Edge集合；

根据所述ExecuteNode集合与Edge集合，获取所述数据采集过程对应的执行计划和各配置参数。

7.根据权利要求2至6任一所述的互联网数据采集方法，其特征在于，所述接收功能组件的拖拽指令和配置指令之前，还包括：

定义各所述功能组件。

8.一种互联网数据采集装置，其特征在于，包括：

采集编辑模块，用于接收功能组件的拖拽指令和配置指令，根据所述拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图；

流程处理模块，用于根据所述有向无环图和各所述功能组件对应的脚本模板，生成网络爬虫的代码；

作业执行模块，用于将所述网络爬虫的代码发送至客户端，以使得所述客户端执行所述网络爬虫的代码，进行互联网数据采集。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一所述的互联网数据采集方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一所述的互联网数据采集方法的步骤。