[发明专利]一种网络数据采集、存储及处理方法及系统

摘要

本发明涉及一种网络数据采集、存储及处理方法，包括以下步骤：S1：对网络数据进行采集；S2：对采集到的数据进行存储；S3：将存储的数据进行处理。其中，所述步骤S1中具体包括：S11：对URL进行存储管理分析；S12：进行自动化任务调度；S13：生成并行化爬取任务，将抓取的HTML文件进行保存；S14：解析HTML文档树，提取需要的字段信息。本发明还提供了一种用于实现上述方法的网络数据采集、存储及处理系统。相比于现有技术，本发明可以实现了对网络信息中有价值数据的采集，并通过离线解析文档提取结构化信息，比现有的网络数据采集装置有更好的采集效率和稳定性。

主权项

一种网络数据采集、存储及处理方法，其特征在于：包括以下步骤：S1：对网络数据进行采集；S2：对采集到的数据进行存储；S3：将存储的数据进行处理；其中，所述步骤S1中具体包括：S11：对URL进行存储管理分析；S12：进行自动化任务调度；S13：生成并行化爬取任务，将抓取的HTML文件进行保存；S14：解析HTML文档树，提取需要的字段信息；其中，所述步骤S11具体包括以下步骤：S111：通过URL数据库存储每个URL的访问量、有效访问量、正确解析入库次数、是否需要User Agent参数、URL类型、URL平台；S112：通过白名单URL表格和黑名单URL表格将URL进行划分；所述白名单URL表示可正常爬取，所述黑名单URL表示不可正常爬取；S113：分析爬取黑名单中的URL的错误输出日志，并进行优化处理，优化处理后的URL转化为白名单。