[发明专利]网页数据采集方法、装置、设备及存储介质

说明书

本公开提供一种网页数据采集方法、装置、设备及存储介质，涉及数据处理技术领域。该方法根据数据采集需求的信息以及预设的脚本模板，创建数据采集需求对应的任务，使得对于不同的数据采集需求以及对应的预设的脚本模板，可以创建相应的任务；进而通过获取任务所需的运行资源和多个采集节点的运行资源状态，从多个采集节点中确定与任务相匹配的采集节点作为目标节点，并将任务下发给目标节点，以使得目标节点根据任务进行数据采集，从而将任务所需的运行资源与采集节点的运行资源状态关联起来，可以为任务选择精确的采集节点，提高了采集节点执行任务的运行效率，即数据采集效率。

技术领域

本公开涉及数据处理技术领域，特别涉及一种网页数据采集方法、装置、设备及存储介质。

背景技术

网络爬虫是一种按照预设规则，自动地抓取万维网信息的程序或者脚本，通过网络爬虫技术，可以有目的对图片、数据库、音频/视频多媒体等不同数据进行搜索，从而使得可以根据所设定的抓取条件，对这些信息含量密集又具有一定结构的数据进行发现和获取，可以广泛应用于各大搜索引擎的信息抓取中。

现有的针对新闻类、社交类等大量数据的网站，通常采用分布式爬取系统，分布式爬虫系统提供了更强的爬取能力，区别于单点爬虫系统，分布式爬虫系统会通过任务调度的方式，在任务调度时由系统中的调度节点将任务下发给工作节点实现数据的爬取，从而由任务调度节点随机的选取工作节点执行数据采集任务。

但现有的分布式爬虫系统，上述通过任务调度节点随机的选取工作节点执行数据采集任务的方式，存在节点任务执行效率低的问题。

发明内容

本公开的目的在于，针对上述现有技术中的不足，提供一种网页数据采集方法、装置、设备及存储介质，以解决现有技术中节点任务执行效率低的问题。

为实现上述目的，本公开实施例采用的技术方案如下：

第一方面，本公开实施例提供了一种网页数据采集方法，该方法包括：根据数据采集需求的信息以及预设的脚本模板，创建数据采集需求对应的任务；获取任务所需的运行资源和多个采集节点的运行资源状态；根据任务所需的运行资源和多个采集节点的运行资源状态，从多个采集节点中确定目标节点；将任务下发给所述目标节点，以使得目标节点根据任务进行网页数据的采集。

可选地，上述根据数据采集需求的信息以及预设的脚本模板，创建数据采集需求对应的任务之前，包括：根据数据采集需求，从预设的脚本模板库中，确定数据采集需求对应的脚本模板为预设的脚本模板；脚本模板库包括：至少一种数据采集需求所对应的脚本模板，不同的数据采集需求对应不同的脚本模板。

可选地，上述获取任务所需的运行资源和多个采集节点的运行资源状态，包括：根据任务的信息，从预设的任务学习资源库中，确定任务所需的运行资源，任务学习资源库包括：所述任务所在类中至少一个任务对应所需的运行资源的信息；从多个采集节点获取所述运行资源状态。

可选地，上述根据任务的信息，从预设的任务学习资源库中，确定任务所需的运行资源之前，该方法还包括：根据历史时间段内，多个采集节点上运行的任务所在类中每个任务以及每个采集节点的运行资源状态，确定每个任务所需的运行资源；根据至少一个任务所需的运行资源的信息，得到任务学习资源库。

可选地，上述从多个采集节点获取所述运行资源状态包括：按照预设的时间周期向多个采集节点发送心跳请求；接收每个采集节点发送的心跳响应，心跳响应包括：每个采集节点的工作状态，以及每个采集节点的运行资源状态。

可选地，上述方法还包括：接收目标节点在进行数据采集过程中以预设的时间周期所发送的运行资源状态以及任务的执行状态。

可选地，若任务的执行状态包括：异常终止的信息，异常终止的信息用于指示任务对应的数据采集未完成，但任务已终止；上述方法还包括：接收目标节点返回的任务的运行日志，运行日志包括：任务在运行过程中的运行参数。