[发明专利]网页数据采集方法、装置、设备及存储介质

权利要求书

1.一种网页数据采集方法，其特征在于，所述方法包括：

根据数据采集需求的信息以及预设的脚本模板，创建所述数据采集需求对应的任务；

获取所述任务所需的运行资源和多个采集节点的运行资源状态；

根据所述任务所需的运行资源和多个所述采集节点的运行资源状态，从多个所述采集节点中确定目标节点；

将所述任务下发给所述目标节点，以使得所述目标节点根据所述任务进行网页数据的采集。

2.根据权利要求1所述的方法，其特征在于，所述根据数据采集需求的信息以及预设的脚本模板，创建所述数据采集需求对应的任务之前，包括：

根据所述数据采集需求，从预设的脚本模板库中，确定所述数据采集需求对应的脚本模板为所述预设的脚本模板；所述脚本模板库包括：至少一种数据采集需求所对应的脚本模板，不同的数据采集需求对应不同的脚本模板。

3.根据权利要求1所述的方法，其特征在于，所述获取所述任务所需的运行资源和多个采集节点的运行资源状态，包括：

根据所述任务的信息，从预设的任务学习资源库中，确定所述任务所需的运行资源，所述任务学习资源库包括：所述任务所在类中至少一个任务所需的运行资源的信息；

从多个所述采集节点获取所述运行资源状态。

4.根据权利要求3所述的方法，其特征在于，所述从多个所述采集节点获取所述运行资源状态，包括：

按照预设的时间周期向多个所述采集节点发送心跳请求；

接收每个所述采集节点发送的心跳响应，所述心跳响应包括：每个所述采集节点的工作状态，以及每个所述采集节点的运行资源状态。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述目标节点在进行数据采集过程中以预设的时间周期所发送的运行资源状态以及所述任务的执行状态。

6.根据权利要求5所述的方法，其特征在于，若所述任务的执行状态包括：异常终止的信息，所述异常终止的信息用于指示所述任务对应的数据采集未完成，但所述任务已终止；所述方法还包括：

接收所述目标节点返回的所述任务的运行日志，所述运行日志包括：所述任务在运行过程中的运行参数。

7.根据权利要求1-6中任一所述的方法，其特征在于，所述方法还包括：

接收所述目标节点发送的所述任务的结束信息；

对所述数据采集所得到的数据进行清洗和/或入库操作。

8.一种网页数据采集装置，其特征在于，所述装置包括创建模块、获取模块、确定模块及采集模块；

所述创建模块，用于根据数据采集需求的信息以及预设的脚本模板，创建所述数据采集需求对应的任务；

所述获取模块，用于获取所述任务所需的运行资源和多个采集节点的运行资源状态；

所述确定模块，用于根据所述任务所需的运行资源和所述多个采集节点的运行资源状态，从所述多个采集节点中确定目标节点；

所述采集模块，用于将所述任务下发给所述目标节点，以使得所述目标节点根据所述任务进行网页数据的采集。

9.一种网页数据采集设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述网页数据采集设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至7任一所述的网页数据采集方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一所述的网页数据采集方法的步骤。