[发明专利]一种网页数据采集方法、系统及存储介质

说明书

本申请实施例中提供了一种网页数据采集方法、系统及存储介质。采用本申请实施例中的网页数据采集方法及系统，通过根据数据采集需求信息，确定数据采集需求对应的功能模块；然后根据功能模块生成带有唯一标识ID的功能节点文件；其次，根据数据采集流程将所述多个功能节点绘制成数据采集流程图；最后根据数据采集流程图调度执行所述各功能模块，实现目标数据采集，避免了重复的设计开发维护工作，提升工作效率，还可以根据需求自由定制、扩展功能模块，灵活性强。解决了现有技术中网页数据采集系统存在定制化程度高采集数据灵活性差的问题。

技术领域

本申请属于计算机数据处理技术领域，具体地，涉及一种网页数据采集方法、系统及存储介质。

背景技术

大数据时代，数据是宝贵的资源，网络平台是数据重要来源之一，批量获取网络数据的主要方式目前是通过研究人员设计开发数据采集程序和付费数据采集器产品。网络数据采集的基本流程：发送请求、获取响应，数据解析、页面跳转、数据清洗以及数据保存等。

但是，面对不同网页的数据采集任务，数据采集程序的设计和开发相似度很高，重复的设计开发工作费时费力。一旦数据采集量大，目标网页复杂，程序规模变大，后期维护的时间、人力等成本会随之增加，降低了数据采集效率。目前，有大量的数据采集器虽然简单、快速，但是定制化高、灵活性不足且原理复杂，因此不太实用复杂的网页数据采集，难以满足专业人员的需求。

因此，现有的网页数据采集系统存在定制化程度高采集数据灵活性差的问题。

发明内容

本发明提出了一种网页数据采集方法、系统及存储介质，旨在解决现有技术中网页数据采集系统存在定制化程度高采集数据灵活性差的问题。

根据本申请实施例的第一个方面，提供了一种网页数据采集方法，包括以下步骤：

根据数据采集需求信息，确定数据采集需求对应的功能模块；

读取所述功能模块，并生成带有唯一标识ID的功能节点；

根据数据采集流程将所述多个功能节点绘制成数据采集流程图；

根据所述数据采集流程图调度执行所述各功能模块，实现目标网页数据采集。

可选地，根据数据采集需求信息，确定数据采集需求对应的功能模块之后，还包括：

在功能模块库中更新添加所述功能模块；所述功能模块包括页面获取模块、页面解析模块、队列缓存模块、数据处理模块、链接提取模块、链接分析模块、外部接口模块以及数据存储模块。

可选地，读取所述功能模块，并生成带有唯一标识ID的功能节点中，具体包括：

读取所述功能模块，检测所述功能模块是否可以实现相应功能；

若可以实现相应功能则检测正常，生成带有ID标识的结构化数据；

若不可以实现相应功能则检测异常，生成针对相应功能模块的异常信息文件。

可选地，根据数据采集流程将所述多个功能节点绘制成数据采集流程图具体包括：

分析目标网页采集流程及数据结构；

设置所述功能节点，在所述功能节点处设置节点参数；

根据所述采集流程连接所述多个功能节点形成数据采集流程图。

可选地，根据所述数据采集流程图调度执行所述各功能模块，具体包括：

检测数据采集流程图对应的各功能节点的结构化参数数据，所述结构化参数数据包括功能模块的节点参数以及控制参数；

缓存所述各功能模块至缓存队列中；