[发明专利]一种网络数据采集、存储及处理方法及系统

说明书

本发明涉及一种网络数据采集、存储及处理方法，包括以下步骤：S1：对网络数据进行采集；S2：对采集到的数据进行存储；S3：将存储的数据进行处理。其中，所述步骤S1中具体包括：S11：对URL进行存储管理分析；S12：进行自动化任务调度；S13：生成并行化爬取任务，将抓取的HTML文件进行保存；S14：解析HTML文档树，提取需要的字段信息。本发明还提供了一种用于实现上述方法的网络数据采集、存储及处理系统。相比于现有技术，本发明可以实现了对网络信息中有价值数据的采集，并通过离线解析文档提取结构化信息，比现有的网络数据采集装置有更好的采集效率和稳定性。

技术领域

本发明涉及网络数据领域，特别是一种一种网络数据采集、存储及处理方法及系统。

背景技术

信息网络技术的快速发展，带来了网络信息量的指数性增长。在网络信息资源充足的条件下，为了快速、针对性获取相关网络信息，促使了搜索引擎的诞生。搜索引擎是指运用特定的计算机程序按照一定的策略自动从因特网上搜集信息，在对信息进行组织和处理以后，提供给用户检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎从因特网上搜集信息的过程，依赖于网络蜘蛛对相关网站信息的爬取。网络蜘蛛是一种自动浏览网络，分析网页内容的程序，是搜索引擎的重要组成部分。

在现有技术中，对于普通的搜索引擎，网络爬虫从一个或若干初始网页的URL开始，在抓取网页的过程中，不断从当前页面上匹配新的URL放入待抓取URL队列中，直到满足系统特定的停止条件。另外，网络爬虫通过普通请求进行机械式操作不断爬取网站信息，消耗大量网站资源，造成网站负载过大甚至导致网站奔溃。有些网络爬虫并没有使用用户代理(User Agent)伪装，容易被目标站点列为黑名单。如今网页的结构越来越复杂，有些基于AJAX异步加载的页面数据难以采集。

目前的网络爬虫通常不针对特定字段，而是按照整体网页内容进行分门别类；有的爬虫只采集相关的特定字段，但是采集到的信息局限于简化展示，没能很好的融合到自身的业务平台上，对数据信息潜在的价值也没能进行更深一步的挖掘。在大数据信息时代，挖掘数据的潜在价值尤为重要。

因此，如何解决现有技术中网络爬虫爬取网站效率低下以及利用采集信息挖掘数据价值，便成为亟待解决的技术问题，如何盘活数据价值，使得数据驱动业务，成了需要研究的行业难题。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供了一种网络数据采集、存储及处理方法及系统。

本发明通过以下的方案实现：一种网络数据采集、存储及处理方法，包括以下步骤：

S1：对网络数据进行采集；

S2：对采集到的数据进行存储；

S3：将存储的数据进行处理；

其中，所述步骤S1中具体包括：

S11：对URL进行存储管理分析；

S12：进行自动化任务调度；

S13：生成并行化爬取任务，将抓取的HTML文件进行保存；

S14：解析HTML文档树，提取需要的字段信息；

其中，所述步骤S11具体包括以下步骤：

S111：通过URL数据库存储每个URL的访问量、有效访问量、正确解析入库次数、是否需要User Agent参数、URL类型、URL平台；

S112：通过白名单URL表格和黑名单URL表格将URL进行划分；所述白名单URL表示可正常爬取，所述黑名单URL表示不可正常爬取；

S113：分析爬取黑名单中的URL的错误输出日志，并进行优化处理，优化处理后的URL转化为白名单；